Mover Média Covariância Estacionária

Nesta palestra, estudamos os processos estocásticos lineares estacionários de covariância, uma classe de modelos rotineiramente utilizados para estudar séries temporais econômicas e financeiras. Esta classe tem a vantagem de ser simples o suficiente para ser descrita por uma teoria elegante e abrangente relativamente ampla em termos de tipos de Dinâmica que pode representar Consideramos esses modelos tanto no tempo quanto na freqüência do domínio ARMA Processos Vamos concentrar nossa atenção em modelos estacionários de covariância linear com um número finito de parâmetros. Em particular, estudaremos os processos estacionários ARMA, que formam uma pedra angular de A teoria padrão do análise de séries temporais It8217s é bem conhecido que todos os processos ARMA podem ser representados na forma linear de espaço de estados. No entanto, o ARMA possui alguma estrutura importante que torna valioso estudá-los separadamente O Análise Espectral Análise no domínio da freqüência também é chamado de análise espectral. Essencial, a análise espectral fornece uma representação alternativa do autociclo Processo estacionário de covariância. Ter uma segunda representação deste importante objeto brilha nova luz sobre a dinâmica do processo em questão permite uma representação mais simples e mais atrativa em certos casos importantes. A famosa transformada de Fourier e sua inversa são usadas para mapear entre as Duas representações Outros Leitura Para leitura suplementar, veja Considere uma seqüência de variáveis ​​aleatórias () indexadas por (t em mathbb Z) e tomando valores em (mathbb R) Assim, () começa no passado infinito e se estende até o futuro infinito 8212 a Suposição conveniente e padrão. Como em outros campos, a modelagem econômica bem sucedida normalmente requer a identificação de alguma estrutura profunda neste processo que é relativamente constante ao longo do tempo. Se essa estrutura for encontrada, cada nova observação (Xt, X, ldots) fornece informações adicionais sobre isso 8212, que é a forma como aprendemos com os dados. Por esse motivo, nos focaremos no que se segue em processos que são estacionários 8212 ou tornam-se assim depois (Processo de diferenciação, cointegração, etc.) Definições Um processo estocástico de valor real () é chamado de covariância estacionária se sua média (mu: mathbb E Xt) não depende de (t) Para todos (k) em (mathbb Z) . A (k) - a autocovariância (gama (k): mathbb E (Xt-mu) (X-mu)) é finito e depende apenas de (k) A função (gamma colon mathbb Z to mathbb R) é chamada de autocovariância Função do processo Ao longo desta palestra, trabalharemos exclusivamente com processos estacionários de covariância zero-mean (ie (mu 0)). A hipótese de zero-média não custa nada em termos de generalidade, já que trabalhar com processos não-zero significa não mais Do que adicionar uma constante Exemplo 1: Ruído branco Talvez a classe mais simples de processos estacionários de covariância seja o processo de ruído branco. Um processo () é chamado de um processo de ruído branco se (mathbb E epsilont 0) (gama (k) sigma2 mathbf 1) para alguns (Sigma gt 0) (Aqui (mathbf 1) é definido como sendo 1 se (k 0) e zero caso contrário) Exemplo 2: Processos lineares gerais A partir do bloco de construção simples fornecido pelo ruído branco, podemos construir uma família de covariância muito flexível Processos estacionários 8212 os processos lineares gerais (1) Xt sum psij epsilon, qquad T em mathbb Z A seqüência () geralmente é chamado de filtro linear Com algumas manipulações é possível confirmar que a função de autocovariância para (1) é pela desigualdade de Cauchy-Schwartz pode-se mostrar que a última expressão é finita. Claramente, não depende de (t) a decomposição de Wold8217s. A classe de processos lineares gerais é um longo caminho para descrever toda a classe de processos estacionários de covariância média zero. Em particular, o teorema de Wold8217 afirma que todo processo estacionário de covariância média zero ( ) Pode ser escrito como Xt sum psij epsilon etat () é o ruído branco () é quadrado (etat) pode ser expresso como uma função linear de (X, X, ldots) e é perfeitamente previsível em horizontes arbitrariamente longos. Para intuição e mais Discussão, veja Sar87. P. 286 AR e MA Os processos lineares gerais são uma classe muito ampla de processos, e muitas vezes é especializado para aqueles para os quais existe uma representação que tem apenas alguns parâmetros finitos (na verdade, a experiência mostra que modelos com um número relativamente pequeno de parâmetros tipicamente Desempenho melhor do que modelos maiores, especialmente para previsão) Um exemplo muito simples de tal modelo é o processo AR (1). Por substituição direta, é fácil verificar que (Xt sum phij epsilon) Por isso () é um processo linear geral Aplicando (2) para a expressão anterior para (Xt). Nós conseguimos a função de autocovariância AR (1) A figura seguinte representa esta função para (phi 0.8) e (phi -0.8) com (sigma 1) Outro processo muito simples é o processo MA (1) Xt epsilont theta epsilon Você será capaz Para verificar se começam a gamma (0) sigma2 (1 theta2), quad gamma (1) sigma2 theta, quad text quad gamma (k) 0 quad forall, k gt 1end O AR (1) pode ser generalizado para um AR ((p )) E da mesma forma para o MA (1) Juntando tudo isso, obtemos Processos ARMA Um processo estocástico () é chamado de processo de mudança de média autorregressivo. Ou ARMA ((p, q)), se pode ser escrito como (5) Xt phi1 X cdots phip X epsilont theta1 epsilon cdots thetaq epsilon onde () é ruído branco Existe uma notação alternativa para processos ARMA de uso comum, com base Em torno do operador de lag (L) Def. Dada a variável arbitrária (Yt). Let (Lk Yt: Y) Acontece que os operadores de atraso podem levar a expressões muito sucinta para processos estocásticos lineares, manipulações algébricas que tratam o operador de atraso como um escalar comum, muitas vezes são legítimos Usando (L). Podemos reescrever (5) como (6) L0 Xt - phi1 L1 Xt - cdots - phip Lp Xt L0 epsilont theta1 L1 epsilont cdots thetaq Lq epsilont Se deixarmos (phi (z)) e (theta (z)) ser os polinômios (7) phi (z): 1 - phi1 z - cdots - phip zp quad text quad theta (z): 1 theta1 z cdots thetaq zq então (6) simplifica ainda mais (8) phi (L) Xt theta (L) Epsilont No que se segue, sempre assumimos que as raízes do polinômio (phi (z)) estão fora do círculo da unidade no plano complexo. Esta condição é suficiente para garantir que o processo ARMA ((p, q)) seja convariável estacionário. Isso implica que o processo se enquadra na classe de processos lineares gerais descritos acima, isto é, dado um processo ARMA ((p, q)) () que satisfaça a condição do círculo da unidade, existe uma seqüência quadrática () com (Xt sum psij Epsilon) para todos (t) A seqüência () pode ser obtida por um procedimento recursivo descrito na página 79 de CC08. Neste contexto, a função (t mapsto psit) é freqüentemente chamada de resgate de impulso Função nse As funções de autocovariância fornecem uma grande quantidade de informações sobre os processos estacionários de covariância. De fato, para os processos Gaussianos de média zero, a função de autocovariância caracteriza toda a distribuição conjunta. Mesmo para processos não gaussianos, ele fornece uma quantidade significativa de informações. Há uma representação alternativa da função de autocovariância de um processo estacionário de covariância, chamado de densidade espectral. Às vezes, a densidade espectral é mais fácil de derivar, mais fácil de manipular e fornece intuição adicional Números complexos Antes de discutir a densidade espectral, convidamos você a se lembrar As principais propriedades dos números complexos (ou salte para a próxima seção) Pode ser útil lembrar que, em um sentido formal, os números complexos são apenas pontos ((x, y) em mathbb R2) dotados de uma noção específica de multiplicação Quando ((X, y)) é considerado como um número complexo, (x) é chamado de parte real e (y) é chamada de parte imaginária. O módulo ou O valor absoluto de um número complexo (z (x, y)) é apenas sua norma euclidiana em (mathbb R2). Mas geralmente é escrito como (z) em vez de (z) O produto de dois números complexos ((x, y)) e ((u, v)) é definido como ((xu - vy, xv yu)). Enquanto a adição é a adição do vetor padrão do ponto. Quando dotada dessas noções de multiplicação e adição, o conjunto de números complexos forma um campo 8212, adição e multiplicação, jogue bem juntos, assim como eles fazem em (mathbb R) O número complexo ((x, y )) É muitas vezes escrito como (xiy). Onde (i) é chamado de unidade imaginária. E é entendido como obedecendo (i2 -1) A notação (xiy) pode ser pensada como uma maneira fácil de lembrar a definição de multiplicação dada acima, porque, procedendo ingenuamente, (xiy) (uiv) xu - yv i (xv yu ) Convertido de volta para a nossa primeira notação, isso se torna ((xu - vy, xv yu)). Que é o mesmo que o produto de ((x, y)) e ((u, v)) da nossa definição anterior. Os números complexos também são expressos em sua forma polar (r e). Que deve ser interpretada como Densidades Espectrales Let () seja um processo estacionário de covariância com função de autocovariância (gama) satisfatória (soma gama (k) 2 lt infty) A densidade espectral (f) de () é definida como a transformada de Fourier de tempo discreto Sua função de autocovariância (gama) (Alguns autores normalizam a expressão à direita por constantes como (1pi) 8212 a convenção escolhida faz pouca diferença, desde que você seja consistente) Usando o fato de que (gama) é uniforme. No sentido de que (gama (t) gama (-t)) para todos (t). Você deve ser capaz de mostrar que (9) f (omega) gama (0) 2 soma gama (k) cos (omega k) Não é difícil confirmar que (f) é valor real mesmo ((f (omega) F (-omega)), e (2pi) - periódico, no sentido de que (f (2pi omega) f (omega)) para todos (omega). Segue-se que os valores de (f) on (0, pi) Determine os valores de (f) em todos (mathbb R) 8212 a prova é um exercício. Por esta razão, é padrão traçar a densidade espectral somente no intervalo (0, pi) Exemplo 1: Ruído branco Considere um processo de ruído branco () Com desvio padrão (sigma) É simples verificar se neste caso temos (f (omega) sigma2). Em particular, (f) é uma função constante. Como veremos, isso pode ser interpretado no sentido de que 8220 todas as frequências são igualmente presentes8221 (A luz branca possui esta propriedade quando a frequência se refere ao espectro visível, uma conexão que fornece as origens do termo 8220white noise8221) Exemplo 2: AR e MA e ARMA É um exercício para mostrar que o processo MA (1) (Xt theta epsilon epsilont) tem densidade espectral (10) f (omega) sigma2 (1 2 theta cos (omega) theta2 ) Com um pouco mais de esforço, é possível mostrar (veja, por exemplo, 261 de Sar87) que a densidade espectral do processo AR (1) (Xt phi X epsilont) é mais geral, pode-se mostrar que a densidade espectral do O processo ARMA (5) é (sigma) é o desvio padrão do processo de ruído branco () os polinômios (phi (cdot)) e (theta (cdot)) são como definidos em (7) A derivação de (12) usa o Fato de que as convoluções se tornam produtos sob transformações de Fourier. A prova é elegante e pode ser encontrada em muitos lugares 8212 veja, por exemplo, Sar87. Capítulo 11, seção 4 It8217s um exercício agradável para verificar que (10) e (11) são realmente casos especiais de (12) Interpretar o traçado de densidade espectral (11) revela a forma da densidade espectral para o modelo AR (1) quando (Phi) leva os valores de 0,8 e -0,8, respectivamente. Estas densidades espectrais correspondem às funções de autocovariância para o processo AR (1) mostrado acima Informalmente, pensamos que a densidade espectral é grande naquelas (omega em 0, pi), tal que A função de autocovariância exibe ciclos significativos nesta freqüência 82208221 Para ver a idéia, let8217s considere por que, no painel inferior da figura anterior, a densidade espectral para o caso (phi -0,8) é grande em (omega pi) Lembre-se de que a densidade espectral Pode ser expresso como (13) f (omega) gama (0) 2 soma gama (k) cos (omega k) gama (0) 2 soma (-0.8) k cos (omega k) Quando avaliamos isso em (omega pi ). Nós obtemos um grande número porque (cos (pi k)) é grande e positivo quando ((-0.8) k) é positivo e grande em valor absoluto e negativo quando ((-0.8) k) é negativo. Portanto, o produto é sempre Grande e positivo, e, portanto, a soma dos produtos no lado direito de (13) é grande. Essas idéias são ilustradas na figura seguinte, que possui (k) no eixo horizontal (clique para ampliar) Por outro lado , Se avaliarmos (f (omega)) em (omega pi 3). Então, os ciclos não são correspondidos, a sequência (gama (k) cos (omega k)) contém termos positivos e negativos e, portanto, a soma desses termos é muito menor. Em resumo, a densidade espectral é grande em freqüências (omega) Onde a função de autocovariância exibe ciclos Invertendo a Transformação Acabamos de ver que a densidade espectral é útil no sentido de que fornece uma perspectiva baseada em freqüência na estrutura de autocovariância de um processo estacionário de covariância. Outra razão pela qual a densidade espectral é útil é que ele Pode ser 8220inverted8221 para recuperar a função de autocovariância através da transformada inversa de Fourier Em particular, para todos (k em mathbb Z). Nós somos Isto é conveniente em situações em que a densidade espectral é mais fácil de calcular e manipular do que a função de autocovariância (Por exemplo, a expressão (12) para a densidade espectral ARMA é muito mais fácil de trabalhar do que a expressão para a autocovariância ARMA) Matemática Teoria Esta seção é frouxamente baseada em Sar87. P. 249-253, e incluído para aqueles que gostariam de um pouco mais de informações sobre as densidades espectrales e têm pelo menos alguns antecedentes na teoria do espaço de Hilbert. Outros devem se sentir livres para passar para a próxima seção 8212, nenhum desses materiais é necessário para progredir para a computação Recall Que todo espaço separável de Hilbert (H) tem uma base ortonormal contable () O bom em relação a essa base é que cada (f em H) satisfaz (15) f sumk alphak hk quad texto quad alphak: langle f, hk rangle onde ( Langle cdot, cdot rangle) denota o produto interno em (H) Assim, (f) pode ser representado a qualquer grau de precisão combinando linearmente vetores base. A seqüência escalar (alfa) é chamada de coeficientes de Fourier de (f). E satisfaz (sumk alphak2 lt infty) Em outras palavras, (alfa) está em (ell2). O conjunto de seqüências sumáveis ​​quadradas Considere um operador (T) que mapeia (alfa em ell2) em sua expansão (sumk alphak hk em H) Os coeficientes de Fourier de (Talpha) são apenas (alfa). Como você pode verificar, confirmando que (langle T alpha, hk rangle alphak) Usando resultados elementares da teoria do espaço de Hilbert, pode-se mostrar que (T) é um-para-um 8212 se (alfa) e (beta) são distintos em (Ell2). Então, as suas expansões em (H) (T) estão em 8212 se (f em H) então sua pré-imagem em (ell2) é a seqüência (alfa) dada por (alphak langle f, hk rangle) (T) é uma linear A isometria 8212 em particular (langle alfa, beta rangle langle Talpha, Tbeta rangle) Resumindo esses resultados, dizemos que qualquer espaço separável de Hilbert é isomorficamente isomórfico para (ell2). Em essência, isso diz que cada espaço separável de Hilbert que consideramos é apenas um diferente Modo de olhar para o espaço fundamental (ell2) Com isso em mente, let8217s se especializam em uma configuração onde (gamma in ell2) é a função de autocovariância de um processo estacionário de covariância, e (f) é a densidade espectral (H L2). Onde (L2) é o conjunto de funções de soma quadrada no intervalo (-pi, pi). (Omega) d omega) () a base ortonormal para (L2) dada pelo conjunto de funções trigonométricas hk (omega) frac, quad k em mathbb Z, quad Omega in - pi, pi Usando a definição de (T) de cima e o fato de que (f) é igual, agora temos. Em outras palavras, além de um múltiplo escalar, a densidade espectral é apenas uma transformação de (gamma in ell2 ) Sob uma certa isometria linear 8212 uma maneira diferente de visualizar (gama) Em particular, é uma expansão da função de autocovariância em relação às funções de base trigonométrica em (L2) Conforme discutido acima, os coeficientes de Fourier de (T gamma) são Dado pela sequência (gama). E, em particular, (gamma (k) langle T gamma, hk rangle) Transformando este produto interno em sua expressão integral e usando (16) dá (14). Justificando a nossa expressão anterior para a transformação inversa. Mais código para trabalhar com modelos estacionários de covariância com modelos ARMA. Código Julia para estudar modelos ARMA podem ser encontrados no pacote DSP. jl. Como esse código não abrange bastante as nossas necessidades 8212 particularmente em relação a Análise espectral 8212 we8217ve juntou o módulo arma. jl. Que faz parte do pacote QuantEcon. jl. O módulo fornece funções para o mapeamento de modelos ARMA ((p, q)) em sua função de resposta ao impulso função de autocovariância da série de tempo simulado densidade espectral. Adicionalmente às parcelas individuais dessas entidades, fornecemos funcionalidades para gerar lotes 2x2 contendo toda essa informação. Em outras palavras , Queremos replicar as parcelas nas páginas 68821169 do LS12 Here8217s um exemplo correspondente ao modelo (Xt 0.5 X epsilont - 0.8 epsilon) Para o interesse de interes, a arma. jl é impresso abaixo cria uma instância lp que representa o ARMA ((p, Q)) modelo Xt phi1 X. Phip X epsilont theta1 epsilon. Thetaq epsilon Se phi e theta são arrays ou seqüências, então a interpretação será phi mantém o vetor dos parâmetros ((phi1 phi2 phip)) theta mantém o vetor de parâmetros ((theta1, theta2. Thetaq)) O parâmetro sigma é Sempre um escalar, o desvio padrão do ruído branco. Também permitimos que phi e theta sejam escalares, caso em que o modelo será interpretado como Xt phi X epsilont theta epsilon. Os dois pacotes numéricos mais úteis para trabalhar com modelos ARMA são DSP. Jl e a rotina de fft em Julia Computing a função de autocovariância Como discutido acima, para processos ARMA, a densidade espectral tem uma representação simples que é relativamente fácil de calcular. Dado esse fato, a maneira mais fácil de obter a função de autocovariância é recuperá-lo do espectro Densidade através da transformada de Fourier inversa Aqui usamos a rotina de transformação de Fourier de Julia8217s fft. Que envolve um pacote padrão baseado em C, chamado FFTW Um olhar para a documentação do fft mostra que a transformada inversa toma uma determinada sequência (A0, A1, ldots, A) e retorna a seqüência (a0, a1, ldots, a) definida por Assim, se definimos (At f (omegat)). Onde (f) é a densidade espectral e (omegat: 2 pi t n). Então Para (n) suficientemente grande, então temos (Você pode verificar a última igualdade) Em vista de (14), agora mostramos que, para (n) suficientemente grande, (ak approx gama (k)) 8212 que é exatamente O que queremos calcular Uma Breve Introdução à Série Moderna Série Definição Uma série de tempo é uma função aleatória xt de um argumento t em um conjunto T. Por outras palavras, uma série de tempo é uma família de variáveis ​​aleatórias. X t-1. X t. X t1. Correspondendo a todos os elementos no conjunto T, onde T é suposto ser um conjunto infinito e denumerável. Definição Uma série temporal observada t t e T o T é considerada como parte de uma realização de uma função aleatória x t. Um conjunto infinito de possíveis realizações que poderiam ter sido observadas é chamado de conjunto. Para colocar as coisas de forma mais rigorosa, a série temporal (ou função aleatória) é uma função real x (w, t) das duas variáveis ​​w e t, onde wW e t T. Se nós corrigimos o valor de w. Temos uma função real x (t w) do tempo t, que é uma realização das séries temporais. Se nós corrigimos o valor de t, então temos uma variável aleatória x (w t). Para um determinado momento, existe uma distribuição de probabilidade sobre x. Assim, uma função aleatória x (w, t) pode ser considerada como uma família de variáveis ​​aleatórias ou como uma família de realizações. Definição Definimos a função de distribuição da variável aleatória w dada t 0 como P o) x (x). Da mesma forma, podemos definir a distribuição conjunta para n variáveis ​​aleatórias. Os pontos que distinguem a análise de séries temporais das análises estatísticas comuns são os seguintes (1) A dependência entre observações em diferentes pontos cronológicos no tempo desempenha um papel essencial. Em outras palavras, a ordem das observações é importante. Na análise estatística normal, assume-se que as observações são mutuamente independentes. (2) O domínio de t é infinito. (3) Temos que fazer uma inferência de uma realização. A realização da variável aleatória pode ser observada apenas uma vez em cada ponto no tempo. Na análise multivariada, temos muitas observações sobre um número finito de variáveis. Esta diferença crítica requer a assunção da estacionararia. Definição A função aleatória x t é dita estritamente estacionária se todas as funções de distribuição dimensional finita que definem x t permanecem iguais mesmo se o grupo inteiro de pontos t 1. T 2. T n é deslocado ao longo do eixo do tempo. Ou seja, se for qualquer número inteiro t 1. T 2. T n e k. Graficamente, pode-se imaginar a realização de uma série estritamente estacionária como tendo não apenas o mesmo nível em dois intervalos diferentes, mas também a mesma função de distribuição, até os parâmetros que a definem. O pressuposto da estacionaridade torna nossas vidas mais simples e menos onerosas. Sem estacionaridade, teríamos que provar o processo com freqüência em cada ponto do tempo para construir uma caracterização das funções de distribuição na definição anterior. A estacionarização significa que podemos limitar nossa atenção a algumas das funções numéricas mais simples, ou seja, os momentos das distribuições. Os momentos centrais são dados pela Definição (i) O valor médio das séries temporais t é, isto é, o momento da primeira ordem. (Ii) A função de autocovariância de t é, isto é, o segundo momento sobre a média. Se você tiver a variância de x t. Usaremos para denotar a autocovariância de uma série estacionária, onde k denota a diferença entre t e s. (Iii) A função de autocorrelação (ACF) de t é usará para denotar a autocorrelação de uma série estacionária, onde k denota a diferença entre t e s. (Iv) A autocorrelação parcial (PACF). F kk. É a correlação entre z t e z tk após a remoção de sua dependência linear mútua das variáveis ​​intervenientes z t1. Z t2. Z tk-1. Uma maneira simples de calcular a autocorrelação parcial entre z t e z tk é executar as duas regressões, em seguida, calcular a correlação entre os dois vetores residuais. Ou, depois de medir as variáveis ​​como desvios de seus meios, a autocorrelação parcial pode ser encontrada como o coeficiente de regressão LS em z t no modelo em que o ponto sobre a variável indica que é medido como um desvio de sua média. (V) As equações de Yule-Walker fornecem uma relação importante entre as autocorrelações parciais e as autocorrelações. Multiplique os dois lados da equação 10 por z tk-j e tenha expectativas. Esta operação nos dá a seguinte equação de diferença nas autocovariâncias ou, em termos de autocorrelações. Essa representação aparentemente simples é realmente um resultado poderoso. Ou seja, para j1,2. K podemos escrever o sistema completo de equações, conhecidas como as equações de Yule-Walker, da álgebra linear, você sabe que a matriz de r s é de nível total. Portanto, é possível aplicar a regra de Cramers sucessivamente para k1,2. Para resolver o sistema para as autocorrelações parciais. Os três primeiros são. Temos três resultados importantes em séries estritamente estacionárias. A implicação é que podemos usar qualquer realização finita da seqüência para estimar a média. Segundo. Se t é estritamente estacionário e E t 2 lt, então a implicação é que a autocovariância depende apenas da diferença entre t e s, não o seu ponto cronológico no tempo. Poderíamos usar qualquer par de intervalos na computação da autocovariância, desde que o tempo entre eles fosse constante. E podemos usar qualquer realização finita dos dados para estimar as autocovariâncias. Em terceiro lugar, a função de autocorrelação no caso da estacionança rígida é dada pela implicação é que a autocorrelação depende apenas da diferença entre t e s, e novamente eles podem ser estimados por qualquer realização finita dos dados. Se nosso objetivo é estimar parâmetros que são descritivos das possíveis realizações das séries temporais, então talvez a estacionalização estrita seja muito restritiva. Por exemplo, se a média e as covariâncias de x t forem constantes e independentes do ponto cronológico no tempo, talvez não seja importante para nós que a função de distribuição seja a mesma para diferentes intervalos de tempo. Definição Uma função aleatória é estacionária no sentido amplo (ou fracamente estacionário, ou estacionário no sentido de Khinchins, ou covariância estacionária) se m 1 (t) m e m 11 (t, s). A estacionança estrita não implica, por si só, uma estacionabilidade fraca. A estabilidade fraca não implica estrita estacionança. A estacionaridade estrita com E t 2 lt implica baixa estacionança. Os teoremas ergódicos estão preocupados com a questão das condições necessárias e suficientes para fazer inferências a partir de uma única realização de uma série temporal. Basicamente, isso resume-se a assumir uma estacionança fraca. Teorema Se t é debilmente estacionário com a função média m e covariância, então, isto é, para qualquer dado e gt 0 e h gt 0 existe algum número T o tal que para todo T gt T o. Se e somente se esta condição necessária e suficiente é que as autocovariâncias desaparecem, caso em que a amostra significa um estimador consistente para a média da população. Corolário Se t é fracamente estacionário com E tk xt 2 lt para qualquer t, e E tk xtx tsk x ts é independente de t para qualquer inteiro s, então se e somente se onde A conseqüência do corolário é a suposição de que xtx tk é Fracamente estacionário. O teorema ergódico não é mais do que uma lei de grandes números quando as observações estão correlacionadas. Pode-se perguntar sobre este assunto sobre as implicações práticas da estacionararia. A aplicação mais comum do uso de técnicas de séries temporais é a modelagem de dados macroeconômicos, tanto teóricos como atheóricos. Como um exemplo do primeiro, pode-se ter um modelo de acelerador multiplicador. Para que o modelo seja estacionário, os parâmetros devem ter certos valores. Um teste do modelo é então coletar os dados relevantes e estimar os parâmetros. Se as estimativas não são consistentes com a estacionaridade, então é preciso repensar o modelo teórico ou o modelo estatístico, ou ambos. Agora temos máquinas suficientes para começar a falar sobre a modelagem dos dados das séries temporais univariadas. Há quatro etapas no processo. 1. Construindo modelos a partir de conhecimentos teóricos e experienciais 2. Identificando modelos baseados nos dados (séries observadas) 3. Ajustando os modelos (estimando os parâmetros do (s) modelo (s)) 4. verificando o modelo Se na quarta etapa não estamos Satisfeito, voltamos para o primeiro passo. O processo é iterativo até verificação e ressincronização adicionais não produzem melhorias nos resultados. Diagrammaticamente Definição Algumas operações simples incluem o seguinte: O operador de retrocesso Bx tx t-1 O operador de frente Fx tx t1 O operador de diferença 1 - B xtxt - x t-1 O operador de diferença se comporta de forma consistente com a constante em uma série infinita . Ou seja, o inverso é o limite de uma soma infinita. Nomeadamente, -1 (1-B) -1 1 (1-B) 1BB 2. O operador de integração S -1 Uma vez que é o inverso do operador de diferença, o operador de integração serve para construir a soma. MODELO DE CONSTRUÇÃO Nesta seção, oferecemos uma breve revisão dos modelos mais comuns de séries temporais. Com base no conhecimento do processo de geração de dados, um escolhe uma classe de modelos para identificação e estimativa das possibilidades que se seguem. Definição Suponha que Ex t m seja independente de t. Um modelo como, com as características, é chamado de modelo autorregressivo de ordem p, AR (p). Definição Se uma variável dependente do tempo (processo estocástico) t satisfaça, então t é dito para satisfazer a propriedade de Markov. No LHS, a expectativa está condicionada à história infinita de x t. No RHS é condicionada apenas parte da história. A partir das definições, um modelo de AR (p) é visto para satisfazer a propriedade de Markov. Usando o operador de mudança de turno, podemos escrever nosso modelo AR como Teorema Uma condição necessária e suficiente para que o modelo AR (p) seja estacionário é que todas as raízes do polinômio se encontram fora do círculo da unidade. Exemplo 1 Considere o AR (1) A única raiz de 1 - f 1 B 0 é B 1 f 1. A condição para a estacionaria requer isso. Se, então, a série observada parecerá muito frenética. Por exemplo. Considere em que o termo de ruído branco tenha uma distribuição normal com uma média zero e uma variância de uma. As observações mudam de sinal com quase todas as observações. Se, por outro lado, a série observada será muito mais suave. Nesta série, uma observação tende a estar acima de 0 se o antecessor estiver acima de zero. A variância de e t é s e 2 para todos os t. A variância de x t. Quando é zero, é dado por Uma vez que a série está estacionada, podemos escrever. Assim, a função de autocovariância de uma série AR (1) é, supondo sem perda de generalidade m 0 Para ver o que isso parece em termos dos parâmetros AR, usaremos o fato de que podemos escrever xt da seguinte forma Multiplicando por x Tk e tendo expectativas Note que as autocovarianças morrem como k cresce. A função de autocorrelação é a autocovariância dividida pela variância do termo de ruído branco. Ou,. Usando as fórmulas anteriores de Yule-Walker para as autocorrelações parciais que temos Para um AR (1), as autocorrelações desaparecem exponencialmente e as autocorrelações parciais exibem uma espiga em um retardo e são zero a partir de então. Exemplo 2 Considere o AR (2) O polinômio associado no operador de atraso é que as raízes podem ser encontradas usando a fórmula quadrática. As raízes são Quando as raízes são reais e, como conseqüência, a série diminuirá exponencialmente em resposta a um choque. Quando as raízes são complexas e a série aparecerá como uma onda de sinal amortecida. O teorema de estacionaridade impõe as seguintes condições nos coeficientes AR. A autocovariância para um processo AR (2), com média zero, é dividir através da variância de xt para a função de autocorrelação. Dado que podemos escrever de forma semelhante para as segunda e terceira autocorrelações. O outro As autocorrelações são resolvidas de forma recursiva. Seu padrão é regido pelas raízes da equação de diferença linear de segunda ordem Se as raízes são reais, as autocorrelações diminuirão exponencialmente. Quando as raízes são complexas, as autocorrelações aparecerão como uma onda senoidal amortecida. Usando as equações de Yule-Walker, as autocorrelações parciais são Novamente, as auto-correções desaparecem lentamente. A autocorrelação parcial, por outro lado, é bastante distinta. Tem pontos em um e dois atrasos e é zero depois disso. Teorema Se x t é um processo AR (p) estacionário, ele pode ser gravado de forma equivalente como um modelo de filtro linear. Ou seja, o polinômio no operador de backshift pode ser invertido e AR (p) escrito como uma média móvel de ordem infinita em vez disso. Exemplo Suponha que z t seja um processo AR (1) com média zero. O que é verdadeiro para o período atual também deve ser verdade para períodos anteriores. Assim, por substituição recursiva, podemos escrever Square em ambos os lados e ter expectativas de que o lado direito desaparece como k desde f lt 1. Portanto, a soma converge para z t em média quadrática. Podemos reescrever o modelo AR (p) como um filtro linear que sabemos estar parado. A função de autocorrelação e autocorrelação parcial Geralmente Suponha que uma série estacionária z t com zero médio seja reconhecida como autoregressiva. A função de autocorrelação de um AR (p) é encontrada ao assumir expectativas e dividir através da variância de z t. Isso nos diz que r k é uma combinação linear das autocorrelações anteriores. Podemos usar isso na aplicação da regra de Cramers para (i) na resolução de f kk. Em particular, podemos ver que essa dependência linear causará f kk 0 para k gt p. Esta característica distintiva das séries autorregressivas será muito útil quando se trata de identificação de uma série desconhecida. Se você tem o MathCAD ou o MathCAD Explorer, então você pode experimentar interatividade com algumas das idéias AR (p) apresentadas aqui. Modelos médios em movimento Considere um modelo dinâmico em que a série de interesse depende apenas de alguma parte da história do termo de ruído branco. Diagramaticamente, isso pode ser representado como Definição Suponha que a t seja uma sequência não correlacionada de i. i.d. Variáveis ​​aleatórias com média zero e variância finita. Em seguida, um processo de ordem média móvel q, MA (q), é dado pelo Teorema: um processo de média móvel é sempre estacionário. Prova: ao invés de começar com uma prova geral, faremos isso por um caso específico. Suponha que z t seja MA (1). Então . Claro, um t tem média zero e variância finita. A média de z t é sempre zero. As autocovariâncias serão dadas por Você pode ver que a média da variável aleatória não depende do tempo de qualquer maneira. Você também pode ver que a autocovariância depende apenas do deslocamento s, não de onde na série começamos. Podemos provar o mesmo resultado de forma mais geral começando com, que tem a representação média móvel alternativa. Considere primeiro a variância de z t. Por substituição recursiva, você pode mostrar que isso é igual a A soma que sabemos ser uma série convergente, então a variância é finita e é independente do tempo. As covariâncias são, por exemplo, você também pode ver que as covariâncias automáticas dependem apenas dos pontos relativos no tempo e não do ponto cronológico no tempo. Nossa conclusão de tudo isso é que um processo MA () é estacionário. Para o processo geral de MA (q), a função de autocorrelação é dada por A função de autocorrelação parcial irá desaparecer suavemente. Você pode ver isso invando o processo para obter um processo AR (). Se você tem MathCAD ou MathCAD Explorer, então você pode experimentar interativamente com algumas das idéias de MA (q) apresentadas aqui. Autoregressivo Misto - Definição de Modelos Média em Movimento Suponha que a t seja uma sequência não correlacionada de i. i.d. Variáveis ​​aleatórias com média zero e variância finita. Em seguida, um processo de ordem vertical auto-regressivo (p, q), ARMA (p, q), é dado pelas raízes do operador autorregente devem estar todos fora do círculo da unidade. O número de incógnitas é pq2. Os p e q são óbvios. O 2 inclui o nível do processo, m. E a variância do termo de ruído branco, sa 2. Suponha que combinamos nossas representações AR e MA de modo que o modelo seja e os coeficientes sejam normalizados de modo que bo 1. Então, essa representação é chamada ARMA (p, q) se a Raízes de (1) todos ficam fora do círculo da unidade. Suponha que o y t seja medido como desvios da média, então podemos soltar um o. Então a função de autocovariância é derivada de se jgtq, então, os termos MA abandonam a expectativa de dar. Ou seja, a função de autocovariância parece uma AR típica para atrasos após q eles morrem suavemente após q, mas não podemos dizer como 1,2,133, Q vai olhar. Também podemos examinar o PACF para esta classe de modelo. O modelo pode ser escrito como Podemos escrever isso como um processo de MA (inf) que sugere que os PACFs desaparecem lentamente. Com alguma aritmética, podemos mostrar que isso acontece somente após os primeiros p picos contribuídos pela parte AR. Direito empírico Na realidade, uma série de tempo estacionária pode ser representada por p 2 e q 2. Se o seu negócio é fornecer uma boa aproximação à realidade e a bondade de ajuste é seu critério, então um modelo pródigo é preferido. Se o seu interesse é a eficiência preditiva, o modelo parcimonioso é preferido. Experimente com as idéias ARMA apresentadas acima com uma planilha de MathCAD. Integração Autoregressiva Modelos de média em movimento Filtro MA Filtro AR Integre o filtro Às vezes, o processo, ou série, estamos tentando modelar não está estável nos níveis. Mas pode estar parado em, digamos, as primeiras diferenças. Ou seja, na sua forma original, as autocovariâncias para a série podem não ser independentes do ponto cronológico no tempo. No entanto, se construímos uma nova série, que é a primeira diferença da série original, esta nova série satisfaz a definição de estacionaria. Este é frequentemente o caso com dados econômicos que são altamente tendenciosos. Definição Suponha que z t não seja estacionário, mas z t - z t-1 satisfaz a definição de estacionararia. Além disso, em, o termo de ruído branco tem média e variância finitas. Podemos escrever o modelo como Este é chamado de modelo ARIMA (p, d, q). P identifica a ordem do operador AR, d identifica a energia. Q identifica a ordem do operador de MA. Se as raízes de f (B) estiverem fora do círculo da unidade, podemos reescrever o ARIMA (p, d, q) como um filtro linear. Isto é, Pode ser escrito como MA (). Reservamo-nos a discussão da detecção de raízes das unidades para outra parte das notas da aula. Considere um sistema dinâmico com x t como uma série de entrada e y t como uma série de saída. Diagrammaticamente temos Estes modelos são uma analogia discreta de equações diferenciais lineares. Suponhamos a seguinte relação onde b indica um atraso puro. Lembre-se de que (1-B). Fazendo essa substituição, o modelo pode ser escrito Se o polinômio do coeficiente em y t pode ser invertido, então o modelo pode ser escrito como V (B) é conhecida como função de resposta ao impulso. Vamos encontrar esta terminologia novamente em nossa discussão posterior de vetores autorregressivos. Modelos de cointegração e correção de erros. IDENTIFICAÇÃO DO MODELO Tendo decidido uma classe de modelos, agora é preciso identificar a ordem dos processos que geram os dados. Ou seja, é preciso fazer as melhores suposições quanto à ordem dos processos AR e MA que conduzem as séries estacionárias. Uma série estacionária é completamente caracterizada por suas médias e autocovariâncias. Por razões analíticas, geralmente trabalhamos com as autocorrelações e autocorrelações parciais. Essas duas ferramentas básicas possuem padrões únicos para processos estacionários AR e MA. Pode-se calcular as estimativas da amostra das funções de autocorrelação e autocorrelação parcial e compará-las com os resultados tabulados para modelos padrão. Função de Autocovariância de Amostra Função de Autocorrelação de Amostra As autocorrelações parciais de amostra serão Usando as autocorrelações e as autocorrelações parciais são bastante simples em princípio. Suponhamos que tenhamos uma série z t. Com zero, o que é AR (1). Se corremos a regressão de z t2 em z t1 e z t, esperamos encontrar que o coeficiente em z t não era diferente de zero, pois essa autocorrelação parcial deveria ser zero. Por outro lado, as autocorrelações para esta série devem diminuir exponencialmente para aumentar os atrasos (veja o exemplo AR (1) acima). Suponha que a série seja realmente uma média móvel. A autocorrelação deve ser zero em todos os lugares, mas no primeiro atraso. A autocorrelação parcial deve desaparecer exponencialmente. Mesmo a partir do nosso rompimento muito superficial através dos fundamentos da análise de séries temporais, é evidente que existe uma dualidade entre os processos AR e MA. Essa dualidade pode ser resumida na tabela a seguir.