Ciao ho raccolto alcuni dati di processo per 3 anni e voglio imitare un'analisi prospettica EWMA, per vedere se il mio set di parametri lisciatura avrebbe rilevare tutte le modifiche importanti (senza troppi falsi allarmi). Sembra che la maggior parte dei libri di testo e la letteratura che ho guardato che utilizzano una media e deviazione standard per calcolare i limiti di controllo. Questo è di solito la media in-controllo e la deviazione standard da alcuni dati storici, o la media e deviazione standard della popolazione da cui sono tratti i campioni. Non ho neanche informazioni. C'è un altro modo per calcolare i limiti di controllo C'è una variazione del grafico EWMA che non utilizza media e deviazione standard Tutte le idee creative Grazie in anticipo per assicurarsi che ho capito questo: è possibile calcolare l'EWMA media e la varianza, ma si don39t hanno una linea di base per confrontarli a sembra a me come si dispone di una tecnica di supervisione (che assume si può definire che cosa quotshouldquot sembra), ma si desidera una tecnica non supervisionato (che appare solo per le differenze senza chiamare un quotgoodquot stato e l'altro quotbadquot). Per le tecniche non supervisionate, il clustering viene in mente, ma avrebbe dovuto essere modificato per applicarsi a timeseries. Che ne dite di generalizzata rapporto di probabilità (GLR) ndash Jim Pivarski 25 giugno 14 a 2:49 Se ci riferiamo a en. wikipedia. orgwikiEWMAchart. Posso calcolare la Zi per la mia data lambda, ma quando si tratta di limiti di controllo, ho don39t avere dati storici per calcolare la T e S. Grazie guarderò in GLR e anche un commento sul Croce Validated. ndash user3295481 giu 25 14 a 2:54 Sì, T e S sono la media e la deviazione standard della distribuzione di base, che è sia data a priori o determinata da un set di dati di addestramento. Il set di dati di formazione rappresenta ciò che i dati quotshouldquot assomigliano, quindi questa è una tecnica sorvegliato e si desidera una tecnica senza supervisione. GLR isn39t pesato esponenzialmente, ma trova dinamicamente un'interruzione nei dati tra due distribuzioni diverse e combina i dati su ciascun lato della pausa per ottenere risultati più robusti. Potrebbe essere quello che vuoi. ndash Jim Pivarski giu 25 14 a 3:00 Da una prospettiva practicaloperational, l'uso dell'analisi statistica dei soli dati storici, è rara. Sì, fornisce alcune indicazioni su come il processo (e il suo sistema di controllo) sta eseguendo, però la cosa più importante in assoluto è quello di avere una buona comprensione e conoscenza dei limiti di ingegneria. Rimando ai limiti operativi, che sono determinati dalle specifiche e le caratteristiche prestazionali delle varie parti dell'apparecchiatura. Questo permette di sviluppare una buona comprensione di come si suppone che il processo di comportarsi (in termini di punto di funzionamento ottimale e upperlower limiti di controllo) e dove le aree di maggiore deviazione da ottimale sono. Questo ha ben poco a che fare con l'analisi statistica dei dati storici, e una grande quantità a che fare con engineeringmetallurgy processo - a seconda del tipo di processo si sta trattando. I limiti di controllo sono in definitiva determinati da ciò Engineer Process Process manager vuole, che sono di solito (ma non sempre) all'interno della capacità nominale del dispositivo. Se si lavora entro i limiti operativi, e siete nel regno della ottimizzazione dei processi, allora sì, l'analisi statistica è più ampiamente usato e in grado di offrire una buona intuizione. A seconda della variabilità del processo, come pure il sistema di controllo è configurata, e l'omogeneità del prodotto alimentare, i limiti di controllo upperlower selezionati variano. Un buon punto di partenza è il punto di funzionamento ottimale (ad esempio 100 m3hr), quindi utilizzare una quantità ragionevole di dati storici per calcolare una deviazione standard, e rendere il limite superiore 100 1 dev standard e il limite inferiore 100 - 1 dev standard. Questo non è affatto una regola dura e veloce, ma è un punto di partenza ragionevole. risposto 7 febbraio 16 alle 12: 12Below è possibile vedere il mio metodo per calcolare C Bande di Bollinger per ogni punto (media mobile, fino band, giù di banda). Come si può vedere questo metodo utilizza 2 per cicli per calcolare la deviazione standard in movimento utilizzando la media mobile. È usato per contenere un loop aggiuntivo per calcolare la media mobile degli ultimi n periodi. Questo ho potuto rimuovere aggiungendo il nuovo valore punto totalaverage all'inizio del ciclo e rimuovere i - n valore del punto di fine ciclo. La mia domanda ora è fondamentalmente: Posso rimuovere il ciclo interno rimanente in modo simile sono riuscito con la media mobile chiesto 31 Gennaio 13 ad 21:45 La risposta è sì, è possibile. A metà degli anni '80 ho sviluppato solo come ad un algoritmo (probabilmente non originale) in FORTRAN per un monitoraggio dei processi e controllo delle applicazioni. Purtroppo, che è stato più di 25 anni fa e non ricordo le formule esatte, ma la tecnica è stata un'estensione del uno per le medie mobili, con il secondo i calcoli di ordine invece di quelli appena lineari. Dopo aver guardato il codice un po ', io penso che posso suss fuori come ho fatto allora. Si noti come il vostro ciclo interno sta facendo la somma dei quadrati: più o meno allo stesso modo in cui il vostro media deve avere in origine aveva una somma di valori Le uniche due differenze sono all'ordine (il suo potere 2 invece di 1) e che si sta sottraendo alla media ogni valore prima di quadrato esso. Ora che potrebbe sembrare inseparabili, ma in realtà possono essere separati: Ora il primo termine è solo una somma di quadrati, di gestire che nello stesso modo in cui si fa la somma dei valori per la media. L'ultimo termine (K2N) sono solo i tempi media quadratica del periodo. Dal momento che si divide il risultato per il periodo in ogni caso, si può semplicemente aggiungere il nuovo media al quadrato senza il ciclo supplementare. Infine, nel secondo termine (SUM (-2vi) k), poiché SUM (vi) totale kn si può quindi cambiare in questo: o solo -2k2n. che è -2 volte la media al quadrato, una volta che il periodo (n) è suddivisa di nuovo. Così la formula finale combinato è: (assicurati di controllare la validità di questo, dal momento che sto derivandola fuori dalla parte superiore della mia testa) e incorporando nel codice dovrebbe essere simile a questo: Grazie per questo. Ho usato come base di una implementazione in C per il CLR. Ho scoperto che, in pratica, si può aggiornare in modo tale che newVar è un piccolo numero negativo, e il sqrt fallisce. Ho introdotto un if per limitare il valore zero per questo caso. Non un'idea, ma stabile. Ciò si è verificato quando ogni valore nella mia finestra aveva lo stesso valore (io ho usato una dimensione della finestra di 20 e il valore in questione era 0,5, nel caso in cui qualcuno vuole provare a riprodurre questo.) Ndash Drew Noakes 26 luglio 13 alle 15:25 Ive Usato commons-matematica (e contribuito a quella biblioteca) per qualcosa di molto simile a questo. La sua open-source, porting di C dovrebbe essere facile come comprato al supermercato torta (avete provato a fare una torta da zero). Check it out: commons. apache. orgmathapi-3.1.1index. html. Hanno una classe standarddeviation. Andare in città risposto 31 Gennaio 21:48 13 ad You39re ammessi Mi dispiace didn39t ho la risposta you39re cercando. Io sicuramente didn39t intendo suggerire porting l'intera libreria solo il codice necessario minima, che dovrebbe essere a poche centinaia di righe o giù di lì. Si noti che non ho idea di che cosa restrizioni di copyright legali Apache ha su quel codice, in modo you39d deve verificare che fuori. Nel caso in cui si perseguono esso, ecco il link. In modo che Varianza FastMath ndash Jason 31 gennaio 13 alle 22:36 Informazioni Principali è già stato dato sopra --- ma forse questo è ancora di interesse generale. Una libreria Java molto piccolo per calcolare lo spostamento media e deviazione standard è disponibile qui: githubtools4jmeanvar L'implementazione è basata su una variante del metodo di Welfords di cui sopra. Metodi per rimuovere e sostituire i valori sono stati ricavati che può essere utilizzato per il valore windows. Exploring Il ponderata esponenzialmente Moving volatilità media è la misura più comune del rischio di muoversi, ma si tratta in diversi sapori. In un precedente articolo, abbiamo mostrato come calcolare semplice volatilità storica. (Per leggere questo articolo, vedere Uso volatilità per valutare i rischi futuri.) Abbiamo usato Googles dati effettivi di prezzo delle azioni al fine di calcolare la volatilità giornaliera sulla base di 30 giorni di dati di stock. In questo articolo, miglioreremo il semplice volatilità e discutere la media mobile esponenziale ponderata (EWMA). Vs. Storico La volatilità implicita In primo luogo, consente di mettere questa metrica in un po 'di prospettiva. Ci sono due approcci: volatilità storica e implicita (o implicite). L'approccio storico presuppone che passato è prologo misuriamo la storia nella speranza che sia predittiva. La volatilità implicita, d'altra parte, ignora la storia si risolve per la volatilità implicita dai prezzi di mercato. Si spera che il mercato conosce meglio e che il prezzo di mercato contiene, anche se implicitamente, una stima di consenso di volatilità. (Per la lettura correlate, vedere gli usi e limiti di volatilità.) Se ci concentriamo solo su tre approcci storici (il alto a sinistra), hanno due punti in comune: Calcolare la serie di rendimenti periodici applicare uno schema di ponderazione In primo luogo, calcolare il ritorno periodico. Questo è in genere una serie di rendimenti giornalieri in cui ogni ritorno è espresso in termini di continuo composte. Per ogni giorno, prendiamo il logaritmo naturale del rapporto tra i prezzi delle azioni (cioè prezzo di oggi divisi per prezzo di ieri, e così via). Questo produce una serie di rendimenti giornalieri, da u i u i-m. a seconda di quanti giorni (m giorni) stiamo misurando. Questo ci arriva al secondo passo: Qui è dove i tre approcci differiscono. Nel precedente articolo (Utilizzo di volatilità per valutare rischio futuro), abbiamo dimostrato che in un paio di semplificazioni accettabili, la semplice varianza è la media dei rendimenti al quadrato: Si noti che questo riassume ciascuna delle dichiarazioni periodiche, poi divide che totale da parte del numero di giorni o osservazioni (m). Così, la sua realtà solo una media delle dichiarazioni periodiche squadrati. In altre parole, ogni ritorno quadrato viene dato un peso uguale. Quindi, se alfa (a) è un fattore di ponderazione (in particolare, un 1m), quindi un semplice scostamento simile a questa: Il EWMA migliora semplice varianza La debolezza di questo approccio è che tutti i ritorni guadagnano lo stesso peso. Yesterdays (molto recente) di ritorno non ha più influenza sulla varianza rispetto allo scorso mese di ritorno. Questo problema viene risolto utilizzando la media ponderata esponenzialmente movimento (EWMA), in cui i ritorni più recenti hanno un peso maggiore sulla varianza. La media mobile esponenziale ponderata (EWMA) introduce lambda. che è chiamato il parametro smoothing. Lambda deve essere inferiore a uno. In tale condizione, invece di pesi uguali, ogni ritorno quadrato è ponderato con un moltiplicatore come segue: Per esempio, RiskMetrics TM, una società finanziaria di gestione del rischio, tende ad utilizzare un lambda di 0,94, o 94. In questo caso, il primo ( più recente) al quadrato ritorno periodico è ponderato (1-0,94) (. 94) 0 6. il successivo ritorno quadrata è semplicemente un lambda-multiplo del peso prima in questo caso 6 moltiplicato per 94 5.64. E il terzo giorni precedenti peso uguale (1-0,94) (0,94) 2 5.30. Quello sensi esponenziale EWMA: ciascun peso è un moltiplicatore costante (cioè lambda, che deve essere inferiore a uno) della prima peso giorni. Questo assicura una varianza che viene ponderato o sbilanciata verso i dati più recenti. (Per ulteriori informazioni, controllare il foglio di lavoro Excel per Googles volatilità.) La differenza tra semplicemente volatilità e EWMA per Google è indicato di seguito. La volatilità semplice pesa in modo efficace ogni ritorno periodico da 0.196 come mostrato nella colonna O (abbiamo avuto due anni di dati di prezzo delle azioni quotidiane. Cioè 509 rendimenti giornalieri e 1509 0.196). Ma si noti che Colonna P assegna un peso di 6, poi 5,64, quindi 5.3 e così via. Quello è l'unica differenza tra semplice varianza e EWMA. Ricorda: Dopo sommiamo l'intera serie (in Q colonna) abbiamo la varianza, che è il quadrato della deviazione standard. Se vogliamo la volatilità, abbiamo bisogno di ricordare di prendere la radice quadrata di tale varianza. Che cosa è la differenza di volatilità giornaliera tra la varianza e EWMA in caso Googles suo significativo: La semplice varianza ci ha dato una volatilità giornaliera di 2,4 ma il EWMA ha dato una volatilità giornaliera di soli 1.4 (vedere il foglio di calcolo per i dettagli). A quanto pare, Googles volatilità si stabilì più di recente, pertanto, una semplice variazione potrebbe essere artificialmente alto. Todays varianza è una funzione di preavviso Pior Giorni Varianza Youll avevamo bisogno di calcolare una lunga serie di pesi in modo esponenziale in declino. Abbiamo solito facciamo la matematica qui, ma una delle migliori caratteristiche del EWMA è che l'intera serie riduce convenientemente ad una formula ricorsiva: ricorsivo significa che i riferimenti varianza di oggi (cioè è una funzione del giorni prima varianza). È possibile trovare questa formula nel foglio di calcolo anche, e produce lo stesso risultato esatto come il calcolo longhand Dice: varianza di oggi (sotto EWMA) uguale varianza di ieri (ponderato per lambda) più il rendimento di ieri al quadrato (pesato da una lambda meno). Si noti come stiamo solo aggiungendo due termini insieme: ieri varianza ponderata e ieri ponderati, al quadrato di ritorno. Anche così, lambda è il nostro parametro smoothing. Un lambda più alto (ad esempio, come RiskMetrics 94) indica più lento decadimento della serie - in termini relativi, stiamo per avere più punti di dati nella serie e che stanno per cadere più lentamente. D'altra parte, se riduciamo lambda, indichiamo superiore decadimento: i pesi cadere fuori più rapidamente e, come risultato diretto del rapido decadimento, meno punti dati sono usati. (Nel foglio di calcolo, lambda è un ingresso, in modo da poter sperimentare con la sua sensibilità). Riassunto La volatilità è la deviazione standard istantanea di un magazzino e la metrica di rischio più comune. È anche la radice quadrata della varianza. Siamo in grado di misurare la varianza storicamente o implicitamente (volatilità implicita). Quando si misura storicamente, il metodo più semplice è semplice varianza. Ma la debolezza con una semplice varianza è tutti i ritorni ottenere lo stesso peso. Quindi ci troviamo di fronte un classico trade-off: vogliamo sempre più dati ma più dati che abbiamo più il nostro calcolo è diluito da dati lontani (meno rilevanti). La media mobile esponenziale ponderata (EWMA) migliora semplice varianza assegnando pesi alle dichiarazioni periodiche. In questo modo, siamo in grado di utilizzare una dimensione sia grande campione, ma anche dare maggior peso ai rendimenti più recenti. (Per visualizzare un tutorial film su questo argomento, visitare il Bionic Turtle.) Un tipo di tassa imposta sulle plusvalenze sostenuti da individui e le società. Le plusvalenze sono i profitti che un investitore. Un ordine per l'acquisto di un titolo pari o inferiore a un determinato prezzo. Un ordine di acquisto limite consente agli operatori e agli investitori di specificare. Un Internal Revenue Service (IRS) regola che consente per i prelievi senza penalità da un account IRA. La regola prevede che. La prima vendita di azioni da una società privata al pubblico. IPO sono spesso emesse da piccole, le aziende più giovani che cercano la. Rapporto DebtEquity è rapporto debito utilizzato per misurare una leva finanziaria company039s o un rapporto debito utilizzato per misurare un individuo. Un tipo di struttura di compensazione che i gestori di hedge fund tipicamente impiegano in cui una parte del compenso è la prestazione based. whuber - Questo è sbagliato, come si sospetta. It39s correggere se i pesi stessi sono frequenze. Ma anche se le frequenze vanno in calcolare le percentuali in questo caso i pesi, anche se non specificato, non sono le frequenze di occorrenza ma qualcos'altro da fare con volumequot quotdata. Quindi questa è la risposta sbagliata. ndash Rex Kerr 8 settembre 15 alle 17:50 Le formule sono disponibili vari luoghi, tra cui Wikipedia. La chiave è quella di notare che dipende da ciò che significano i pesi. In particolare, si ottiene risposte diverse se i pesi sono frequenze (per esempio, si sono solo cercando di evitare di aggiungere il vostro intero importo), se i pesi sono infatti la varianza di ogni misura, o se theyre solo alcuni valori esterni si impongono i tuoi dati. Nel tuo caso, sembra superficialmente come i pesi sono frequenze, ma non theyre. Si generano i dati provenienti da frequenze, ma la sua non è una semplice questione di avere 45 registrazioni di 3 e 15 record di 4 nel set di dati. Invece, è necessario utilizzare l'ultimo metodo. (In realtà, tutto questo è spazzatura - si ha realmente bisogno di utilizzare un modello più sofisticato del processo che sta generando questi numeri È a quanto pare non si ha qualcosa che sputa fuori i numeri normalmente distribuiti, in modo che caratterizza il sistema con la deviazione standard è non è la cosa giusta da fare.) in ogni caso, la formula per la varianza (da cui si calcola la deviazione standard in modo normale) con pesi di affidabilità è dove x somma wi xi somma wi è la media ponderata. Non avete un preventivo per i pesi, che Im supponendo che si desidera prendere per essere proporzionale alla affidabilità. Prendendo le percentuali come sei sta per rendere l'analisi difficile anche se theyre generato da un processo di Bernoulli, perché se si ottiene un punteggio di 20 e 0, si ha la percentuale infinita. Ponderazione per l'inverso del SEM è una cosa comune e talvolta ottimale per fare. Si dovrebbe forse usare una stima bayesiana o intervallo di punteggio Wilson. rispose 8 15 settembre a 17:48 1. La discussione dei diversi significati di pesi era quello che cercavo in questa discussione tutti insieme. Si tratta di un importante contributo a tutto questo site39s domande su statistiche ponderate. (Io sono un po 'preoccupato per le osservazioni in materia di parentesi distribuzioni normali e le deviazioni standard, però, perché suggeriscono erroneamente che DS non hanno alcun uso al di fuori di un modello basato sulla normalità.) Ndash whuber 9830 8 settembre 15 a 18:23 whuber - Beh, teorema del limite centrale per il salvataggio, naturalmente, ma per quello che il PO stava facendo, cercando di caratterizzare quella serie di numeri con una media e deviazione standard sembra estremamente sconsigliabile. E, in generale, per molti usi la deviazione standard finisce per attirare uno in un falso senso di comprensione. Per esempio, se la distribuzione è tutt'altro che normale (o una buona approssimazione della stessa), basandosi sulla deviazione standard vi darà una cattiva idea della forma delle code, quando è esattamente quelle code che probabilmente la maggior parte interessano in statistica test. ndash Rex Kerr 8-set-15 a 19:44 RexKerr non possiamo biasimare la deviazione standard, se la gente posto interpretazioni su di esso che sono immeritata. Ma let39s allontanarsi dalla normalità e considera la categoria molto più ampia di continue, distribuzioni unimodali simmetriche con varianza finita (per esempio). Poi tra 89 e 100 percento della distribuzione si trova in due deviazioni standard. That39s spesso molto utile per conoscere (e 95 bugie più o meno a metà, in modo da it39s mai più di circa 7 off) con molte distribuzioni comuni, l'aspetto caduta simmetria doesn39t cambia molto (per esempio guardare l'esponenziale, per esempio). CTD ndash Glenb 9830 Oct 1 15 alle 23:57
No comments:
Post a Comment