AutoRegression (AR) の基本

ARモデル：現在の値を、過去の自分自身の値で説明する時系列モデル

前提知識

• $y_t$：時点tにおける観測値(確率変数)
• 弱定常性$$\mathrm{\forall }t,\mathrm{\forall }k:E[y_t]=\mu \wedge Cov(y_t,y_{t-k})=E[(y_t-\mu )(y_{t-k}-\mu )]={\gamma }_k$$
  • 異時点間のデータ間の線形依存関係が時点tに依存せず時間差kにのみ依存することを要求
• 強定常性$$\mathrm{\forall }t,\mathrm{\forall }k:(y_t,y_{t_1},\dots ,y_{t_r})\mathrm{の}\mathrm{同}\mathrm{時}\mathrm{分}\mathrm{布}\mathrm{が}\mathrm{同}\mathrm{一}$$
  • 異時点間のデータ間の全ての形の依存構造が時点tに依存せず時間差kにのみ依存することを要求
• $\mathrm{強}\mathrm{定}\mathrm{常}\mathrm{性}\Rightarrow \mathrm{弱}\mathrm{定}\mathrm{常}\mathrm{性}$
• ホワイトノイズ
  確率過程$\{y_t\}$がホワイトノイズとは以下を満たすこと
  
  1. $\{y_t\}$が弱定常
  2. $E[y_t]=0$
  3. $cov(y_t,y_{t-j})=0forj\ne 0$
• マルチンゲール差分系列(MDS)
  $E[y_t]=0$を満たす過程$\{(y_t,{\mathcal{F}}_t)\}$は次の条件を満たすときMDSと呼ばれる($\mathcal{F}$は情報集合)$$E[y_t|{\mathcal{F}}_{t-1}]=0$$

モデル

• AR(1)：$y_t=v+{\varphi }_1{y}_{t-1}+{ϵ}_t$
• AR(p)：$y_t=v+{\varphi }_1{y}_{t-1}+\cdots +{\varphi }_p{y}_{t-p}+{ϵ}_t$
  • ${ϵ}_t$：ホワイトノイズ仮定 (${ϵ}_t\sim \text{W.N.}({\sigma }^2)$で分散${\sigma }^2$のホワイトノイズに従うことを表現できる)
• lag polnoymial $\varphi (L)=1-{\varphi }_{1}L-\cdots -{\varphi }_p{L}^p$ を用いて以下のように表すこともできる

$$\varphi (L)y_t=v+{ϵ}_t$$

• 定理

1. $\mu =E[y_t]=\frac{v}{1-{\varphi }_1-{\varphi }_2-\cdots -{\varphi }_p}$
2. ${\gamma }_0=var(y_t)=\frac{{\sigma }^2}{1-{\varphi }_1{\rho }_1-{\varphi }_2{\rho }_2-\cdots -{\varphi }_p{\rho }_p}$
3. 自己共分散と自己相関は$y_t$(Yule-Walker方程式)

$$\begin{gathered} {\gamma }_k={\varphi }_1{\gamma }_{k-1}+{\varphi }_2{\gamma }_{k-2}+\cdots +{\varphi }_p{\gamma }_{k-p} \\ {\rho }_k={\varphi }_1{\rho }_{k-1}+{\varphi }_2{\rho }_{k-2}+\cdots +{\varphi }_p{\rho }_{k-p} \end{gathered}$$

4.AR過程の自己相関は指数的に減衰する

AR(p)の定常条件

AR(p)モデルを以下のように書く

$$\varphi (L)y_t=v+{ϵ}_t$$

ただし$\varphi (L)=1-{\varphi }_{1}L-\cdots -{\varphi }_p{L}^p$ このときAR(p)が定常であるための条件は

$$\varphi (z)=1-{\varphi }_{1}z-\cdots -{\varphi }_p{z}^p$$

のすべての根が単位円の外側にあること、すなわち$|z_i|>1$がすべての根について成り立つこと

AR(1)の定常条件

$$y_t=v+{\varphi }_1{y}_{t-1}+{ϵ}_t{ϵ}_t\sim W.N.({\sigma }^2)$$

の定常条件

• AR特性方程式は$z={\varphi }_1^{-1}$で与えられる
• $|{\varphi }_1|<1$のとき$|z|>1$となり解の絶対値が1より大きくなるのでAR(1)の定常条件は$|{\varphi }_1|<1$

AR(p)の定常条件

• AR特性方程式$1-{\varphi }_{1}z-\cdots -{\varphi }_p{z}^p=0$の全ての解が１より大きいとき、AR過程は定常になる

推定

• AR(p)モデルは線形回帰で表せる$$y_t=x_t^{\prime }\beta +{ϵ}_t$$
  • $\beta =(v,{\varphi }_1,\dots ,{\varphi }_p{)}^{\prime }$, $x_t=(1,y_{t-1},\dots ,y_{t-p}{)}^{\prime }$
• ${ϵ}_t$がMDSであることを仮定すると、$x_t,{ϵ}_t$は無相関
• OLS推定量は、$\hat{\beta }=(\sum _{t=p+1}^T{x}_t{x}_t^{\prime }{)}^{-1}\sum _{t=p+1}^T{x}_t{y}_t$

性質

• 安定性のもとで、$y_t$は強定常でエルゴート性をみたす
• 一致性：LLNとMDSの性質より$\hat{\beta }\to \beta$
• 漸近正規性：$E[{ϵ}_t^4]<\mathrm{\infty }$ ならばCLTより$\sqrt{n}(\hat{\beta }-\beta )\stackrel{d}{\to }N(0,E[x_t{x}_t^{\prime }{]}^{-1}E[x_t{x}_t^{\prime }{ϵ}_t^2]E[x_t{x}_t^{\prime }{]}^{-1})$

補足

• AR(p)の次数pはAICやBICに基づいて決める

AR の由来

• Yule-Walker方程式のおじさんたちが導入・発展させた
• Yule(1927)
  • 太陽黒点のような周期性を持つ時系列を、決定論的な周期関数にノイズを足したものではなく、過去の値とランダムな錯乱に依存する過程として扱った
  • AR(2)による周期的モデリングを導入$$u_t=a{u}_{t-1}+b{u}_{t-2}+c+{ϵ}_t$$
• Walker(1931)
  • Yule(1927)の自己相関的な時系列モデルを受け、系列の自己相関係数の列を使って周期性を調べる方法を展開
  • 系列$u_t$が自己回帰的関係を持つなら、ラグpの自己相関係数$r_p$も近似的に同じ係数を持つ差分方程式に従うことを主張(後のYule–Walker方程式)
  • 実証ではダーウィン港の気圧データを分析
• Slutskyも理論確率に貢献
• その後Wold分解、Box-JenkinsによってARMA/ARIMAへ体系化

演習

AR(1)

自己相関関数 (ACF)

理論

• 時系列に定常性を仮定すると平均値関数${\mu }_n$は時刻$n$に依存しない一定の値となり、$$\mu =E[y_n]$$と表せ、これを時系列$y_n$の平均と呼ぶ
• $y_n,y_{n-k}$の共分散$Cov(y_n,y_{n-k})$は時間差$k$だけに依存する量となり、$$C_k=Cov(y_n,y_{n-k})=E[(y_n-\mu )(y_{n-k}-\mu )]$$と表せ、自己共分散関数と呼ぶ。$k$はラグとも呼ばれる
  • 自己共分散関数は偶関数$(C_l=c_{-l})$で$|C_k|\le C_0$が成り立つ
• $y_n,y_{n-k}$の相関係数$$R_k=\frac{Cov(y_n,y_{n-k})}{\sqrt{Var(y_n)Var(Y_{n-k})}}$$をラグ$k$の関数とみなしたものを自己相関関数と呼ぶ
  • 定常時系列の場合$Var(y_n)=Var(Y_{n-k})=C_0$が成立するので、自己相関関数は自己共分散を用い、$R_k=\frac{C_k}{C_0}$と表せる
• 定常時系列$\{y_1,\dots ,y_N\}$が与えられたとき、平均、自己共分散関数、自己相関関数は以下のように推定できる$$\begin{array}{rl}\hat{\mu }=& \frac{1}{N}\sum _{n=1}^N{y}_n\\ {\hat{C}}_k=& \frac{1}{N}\sum _{n=k+1}^N(y_n-\hat{\mu })(y_{n-k}-\hat{\mu })\\ {\hat{R}}_k=& \frac{{\hat{C}}_k}{{\hat{C}}_0}\end{array}$$
• コレログラムとは標本自己相関を図示したもの：横軸$k$、縦軸$k$次の標本自己相関

コード

• 標本自己共分散を求める(${\hat{C}}_k=\frac{1}{N}\sum _{n=k+1}^N(y_n-\hat{\mu })(y_{n-k}-\hat{\mu })$)

  def sample_autocovariance(y, max_lag):
    y = np.asarray(y)
    n = len(y)
  
    mu_hat = np.mean(y)
  
    autocovariances = []
  
    for k in range(max_lag + 1):
        cov_k = np.sum((y[k:] - mu_hat) * (y[:n - k] - mu_hat)) / n
        autocovariances.append(cov_k)
  
    return np.array(autocovariances)

• 標本自己相関を求める(${\hat{R}}_k=\frac{{\hat{C}}_k}{{\hat{C}}_0}$)

  def sample_autocorrelation(y, max_lag):
    autocovariances = sample_autocovariance(y, max_lag)
  
    autocorrelations = autocovariances / autocovariances[0]
  
    return autocorrelations

• $\varphi =0.1$：明確な周期性なし

• $\varphi =0.5$：明確な周期性なし、自己相関の減衰はある

• $\varphi =0.9$：強い正の自己相関の減衰が観測される

定常性

• 前提知識の項より、$|{\varphi }_1|<1$のときAR(1)は定常
  • $\varphi =-0.5,0.99$：定常
  • $\varphi =1,1.01$：定常でない

AR(2)

• 定数項なし：$y_t={\varphi }_1{y}_{t-1}+{\varphi }_2{y}_{t-2}+{ϵ}_t$
• コードは

  def simulate_ar2(phi1, phi2, n=300, sigma=1.0, seed=123):
    np.random.seed(seed)
  
    e = np.random.normal(0, sigma, n)
    y = np.zeros(n)
  
    for t in range(2,n):
        y[t] = phi1 * y[t-1] + phi2 * y[t-2] + e[t]
    return y

• (${\varphi }_1$, ${\varphi }_2$) = (1.10, -0.24), (1.80, -0.81), (1.20, -0.70), (1.30, -0.30)のシュミレーション

AR(2)の振る舞いの理由

• まず、前提知識の項より、$y_t={\varphi }_1{y}_{t-1}+{\varphi }_2{y}_{t-2}+{ϵ}_t$の定常性条件は以下$$\begin{array}{rl}{\varphi }_2>& -1\\ {\varphi }_2<& 1+{\varphi }_1\\ {\varphi }_2<& 1-{\varphi }_1\end{array}$$
  • (1.10, -0.24), (1.80, -0.81), (1.20, -0.70)：定常
  • (1.30, -0.30)：定常でない
• 証明
  • AR特性方程式$1-{\varphi }_{1}z-{\varphi }_2{z}^2=0$の解(特性根)は、解の公式より、
  $$Z=\frac{-{\varphi }_1\pm \sqrt{{\varphi }_1^2+4{\varphi }_2}}{2{\varphi }_2}$$
  • この絶対値１より大きくなる条件を考えると上を得る。

行列を用いる

• 状態ベクトルでかく$$\left(\begin{array}{c}{y}_t\\ y_{t-1}\end{array}\right)=\left(\begin{array}{cc}{\varphi }_1& {\varphi }_2\\ 1& 0\end{array}\right)\left(\begin{array}{c}{y}_{t-1}\\ y_{t-2}\end{array}\right)+\left(\begin{array}{c}{ϵ}_t\\ 0\end{array}\right)$$
  • ここで$A=\left(\begin{array}{cc}{\varphi }_1& {\varphi }_2\\ 1& 0\end{array}\right)$は遷移行列
• 行列$A$の固有値を求める(計算略)

(${\varphi }_1,{\varphi }_2$)	固有値	定常	振動
(1.10,-0.24)	(0.80, 0.30)	定常	しない
(1.80,-0.81)	(0.90, 0.90)	定常	しない
(1.20,-0.70)	($0.60\pm 0.583i$)	定常	する
(1.30,-0.30)	(1, 0.30)	非定常	しない

• $A$の固有値の逆数とAR特性方程式$1-{\varphi }_{1}z-{\varphi }_2{z}^2=0$の解は一致する！
• 固有値の定常条件は、$A$の全ての固有値${\lambda }_1,{\lambda }_2$が単位円の内側にあること、つまり$$|{\lambda }_1|<1,|{\lambda }_2|<1$$
  • $det(A-\lambda I)=0$という特性方程式を考えると、$${\lambda }^2-{\varphi }_1\lambda -{\varphi }_2=0$$
  • 解は、$$\lambda =\frac{{\varphi }_1\pm \sqrt{{\varphi }_1^2+4{\varphi }_2}}{2}$$
  • この解が共に単位円の中にある条件を考えると、AR特性方程式により導出した条件に一致する
• 振動する条件は、固有値が複素数になること、つまり$${\varphi }_1^2+4{\varphi }_2<0$$