学習メモ：AR過程の概要と性質

時系列分析

はじめに

現在以下の時系列解析本をベースに時系列分析手法の勉強を行っているのですが、
いかんせん本を読み進めていくだけではなかなか知識が定着しないため、
本の中で紹介されている時系列モデルをいくつかピックアップして、今後のブログにまとめていきたいと思います。
そんなわけで今回はAR過程(autoregressive process)と呼ばれる基本的なモデルについてまとめていきます。

時系列解析: 自己回帰型モデル・状態空間モデル・異常検知 (Advanced Python)

時系列解析: 自己回帰型モデル・状態空間モデル・異常検知 (Advanced Python)

Amazon

目次

AR過程とは

ある時点における観測データの値をそれよりも過去の観測データの線形和で表現するモデルであり、
以下のように数式で表現される。

y_t = c + \sum\limits_{i=1}^p \phi_i y_{t-i} + \epsilon_t, \quad \epsilon_t \sim W.N(\sigma^2)
\{y_1, \ldots , y_t\}\, : \, 時系列データ \\ c \, : \, 定数項 \\ \phi_i \, : \, 自己回帰係数 \\ \epsilon_t \, : \, 時刻tにおける撹乱項 \\ W.N(\sigma^2) \, : \, 平均0,分散\sigma^2 のホワイト・ノイズ

また、 p時点前までの観測データが含まれるAR過程のことをラグ pのAR過程と呼び、AR(p)と記述される。

AR過程の性質

  • 定常性
    以下のAR特性方程式のすべての解の絶対値が1よりも大きくなる場合、AR(p)過程は定常過程となる。
1 - \sum\limits_{i=1}^p \phi_i\,z^i = 0
  • 期待値
    AR(p)過程が定常である場合、期待値 E[y_t]は以下のように表現される
E[y_t] = \frac{c}{1 - \sum\limits_{i=1}^p \phi_i}
(\because ) \\ \begin{align} E[y_t] &= E\left[c + \sum_{i=1}^p \phi_i y_{t-i} + \epsilon_t \right] \tag{1} \\ &= c + \sum\limits_{i=1}^p \phi_i E\left[y_{t-i} \right] \tag{2} \\ &= c + \sum\limits_{i=1}^p \phi_i E\left[y_{t} \right] \tag{3} \end{align}

「期待値演算の線形性」、「 E [ c ] = c」、「 E [ \epsilon_t ] = 0」より、 (1)式から (2)式への式変形が成立。
また、 \{y_t \}は定常過程であるため、 E [ y_t ] = E [y_{t-1} ]となる。 ゆえに (2)式から (3)式への式変形が成立。
よって、

\begin{align} E [y_t ] &= c + \sum_{i=1}^p \phi_i E [ y_t ] \\ \left( 1 - \sum\limits_{i=1}^p \phi_i \right) E [ y_t ] &= c \\ E [ y_t ] &= \frac{c}{1 - \sum\limits_{i=1}^p \phi_i} \end{align}

\blacksquare

  • 分散(0次の自己共分散)
    AR(p)過程が定常である場合、分散 V [ y_t ] は以下のように表現される。
\begin{align} \gamma_0 = V [ y_t ] = \frac{\sigma^{2}}{1 - \sum\limits_{i=1}^{p} \phi_i \rho_i} \end{align}

また、上記式中の \rho_i は次数 iの自己相関係数を表している。

  • 自己共分散
    AR(p)過程が定常である場合、 k次の自己共分散 \gamma_k は以下のように表現される。
\gamma_k = \sum\limits_{i=1}^p \phi_i \gamma_{k-i}

(\because )

\begin{align} \gamma_k &= Cov ( y_t, y_{t-k} ) \\ &= Cov \left( c + \sum\limits_{i=1}^{p} \phi_i y_{t-i} + \epsilon_t, y_{t-k} \right) \\ &= \sum\limits_{i=1}^{p} Cov ( y_{t-i}, y_{t-k} ) + Cov ( \epsilon_t, y_{t-k}) \\ &= \sum\limits_{i=1}^{p} \phi_i \gamma_{k-i} \end{align}

\blacksquare

  • 自己相関係数
    AR(p)過程が定常過程である場合、 k次の自己相関係数 \rho_k は以下のように表現される。
\rho_k = \sum\limits_{i=1}^{p} \phi_i \rho_{k-i}

また、上記をユール・ウォーカー方程式という。
(\because )

\begin{align} \rho_k &= \frac{\gamma_k}{\sqrt{V [ y_t ]} \sqrt{V [ y_{t-k} ]} } \tag{4} \\ &= \frac{\sum\limits_{i=1}^{p} \phi_i \gamma_{k-i}}{\gamma_0} \tag{5} \\ &= \sum\limits_{i=1}^{p} \phi_i \rho_{k-i} \tag{6} \end{align}

\blacksquare
(上記式変形の補足)
\{ y_t \}は定常過程のため、任意の時点において分散(0次の自己共分散 \gamma_0)は一定の値となるため、 (4)式から(5)式への変形が成立する。
また、

\begin{align} \frac{ \gamma_{k-i} }{ \gamma_0 } = \frac{ Cov (y_t, y_{t-(k-i)} ) }{ \sqrt{ V[ y_t ] } \sqrt{ V[ y_{t-(k-i)} ] } } = \rho_{k-i} \end{align}

のため、(5)式から(6)式への変形についても成立する。