Moving Average (MA)の基本

• 過去のランダムな予測誤差の蓄積を用いて現在の値を予測する統計モデル
• ホワイトノイズを拡張したもので、ホワイトノイズの線形和で表される

移動平均

$$y_t=\frac{y_t+y_{t-1}+\cdots +y_{t-q+1}}{q}$$

• MAは誤差項の(加重)移動平均を考えたもの

MA(1)

$$y_t=\mu +{ϵ}_t+{\theta }_1{ϵ}_{t-1}{ϵ}_t\sim W.N.({\sigma }^2)$$

• $y_t$がMA(1)過程に従うことは$y_t\sim MA(1)$と表される
• これは定常過程$y_t=\mu +{ϵ}_t,{ϵ}_t\sim W.N.({\sigma }^2)$に${\theta }_1{ϵ}_{t-1}$という項が追加されたもの

MA(q)

$$y_t=\mu +{ϵ}_t+{\theta }_1{ϵ}_{t-1}+\cdots +{\theta }_q{ϵ}_{t-q}{ϵ}_t\sim W.N.({\sigma }^2)$$

• 現在とq期間の過去のホワイトノイズ線形和に定数を加えたもの

ARとの比較

AR(p)：$y_t=v+{\varphi }_1{y}_{t-1}+\cdots +{\varphi }_p{y}_{t-p}+{ϵ}_t$

• MAは過去のショック${ϵ}_t,{ϵ}_{t-1},\dots$が現在に影響
• ARでは過去の観測値$y_{t-1},y_{t-1},\dots$が現在に影響
• MA(q)ではショックの影響は最大q期で消えるが、ARではショックの影響がだんだん小さくなりながら残ることがある
• ARモデルはMA($\mathrm{\infty }$)で表現できる
  • $y_t=v+\varphi y_{t-1}+{ϵ}_t$に一期前の式を代入していく
  $$\begin{array}{rl}{y}_t=& v+\varphi (v+\varphi y_{t-2}+{ϵ}_{t-1})+{ϵ}_t\\ y_t=& v+\varphi v+{ϵ}_t+\varphi {ϵ}_{t-1}+{\varphi }^2{y}_{t-2}\end{array}$$
  • 繰り返すと以下を得る：
  $$\begin{array}{rl}{y}_t=& \frac{v}{1-\varphi }+{ϵ}_t+\varphi {ϵ}_{t-1}+{\varphi }^2{ϵ}_{t-2}+{\varphi }^3{ϵ}_{t-3}+\dots \\ =& \mu +\sum _{j=0}^{\mathrm{\infty }}{\varphi }^j{ϵ}_{t-j}\end{array}$$
  • ここで${\varphi }^j$はIRF
• Wold分解：定常時系列なら、そのランダムな部分は一般にMA($\mathrm{\infty }$)で表せる

MAの性質

1. $E[y_t]=\mu$
2. ${\gamma }_0=Var(y_t)=(1+{\theta }_1^2+\cdots +{\theta }_q^2){\sigma }^2$
3. ${\gamma }_k=\{\begin{array}{l}({\theta }_k+{\theta }_1{\theta }_{k+1}+\cdots +{\theta }_{q-k}{\theta }_q){\sigma }^{2}1\le k\le q\\ 0k\ge q+1\end{array}$
4. MA過程は常に定常である
5. ${\rho }_k=\{\begin{array}{l}\frac{{\theta }_k+{\theta }_1{\theta }_{k+1}+\cdots +{\theta }_{q-k}{\theta }_q}{1+{\theta }_1^2+\cdots +{\theta }_q^2}1\le k\le q\\ 0k\ge q+1\end{array}$

問題点

• 長期間にわたる自己相関をパラメータ化するには多くのパラメータが必要
• 観測できないホワイトノイズの線形和で表されるため解釈が難しい
• 同様の理由でモデルの推定や予測が複雑になる

Moving Average (MA)の2つの表現

MA(2)：$y_t={\epsilon }_t+{\theta }_1{\epsilon }_{t-2}+{\theta }_2{\epsilon }_{t-2}$

1. $y=B(\theta )\epsilon$

• 行列でまとめて計算

• $4\times 4$であれば：

  $$\left(\begin{array}{c}{y}_0\\ y_1\\ y_2\\ y_3\end{array}\right)=\left(\begin{array}{cccc}1& 0& 0& 0\\ {\theta }_1& 1& 0& 0\\ {\theta }_2& {\theta }_1& 1& 0\\ 0& {\theta }_2& {\theta }_1& 1\end{array}\right)\left(\begin{array}{c}{\epsilon }_0\\ {\epsilon }_1\\ {\epsilon }_2\\ {\epsilon }_3\end{array}\right)$$

  これを計算すると：

$$\begin{array}{rl}{y}_0& ={\epsilon }_0,\\ y_1& ={\epsilon }_1+{\theta }_1{\epsilon }_0,\\ y_2& ={\epsilon }_2+{\theta }_1{\epsilon }_1+{\theta }_2{\epsilon }_0,\\ y_3& ={\epsilon }_3+{\theta }_1{\epsilon }_2+{\theta }_2{\epsilon }_1.\end{array}$$

となり、確かにMA(2)の式になっている

def simulate_ma2_convolution(theta1, theta2, n=300, sigma=1.0, seed=123):
    np.random.seed(seed)

    e = np.random.normal(0, sigma, n)

    b_theta = np.zeros((n, n))

    for t in range(n):
        b_theta[t, t] = 1.0

        if t - 1 >= 0:
            b_theta[t, t - 1] = theta1

        if t - 2 >= 0:
            b_theta[t, t - 2] = theta2

    y = b_theta @ e

    return y

2. $y_t=H{\xi }_t,{\xi }_t=F{\xi }_{t-1}+G{\epsilon }_t$

• 状態空間で表現
• 観測方程式：

$$y_t=\left(\begin{array}{ccc}1& {\theta }_1& {\theta }_2\end{array}\right)\left(\begin{array}{c}{\epsilon }_t\\ {\epsilon }_{t-1}\\ {\epsilon }_{t-2}\end{array}\right)$$

• 状態遷移方程式：

$$\begin{array}{rl}{\xi }_t=& F{\xi }_{t-1}+G{\epsilon }_t\\ =& \left(\begin{array}{ccc}0& 0& 0\\ 1& 0& 0\\ 0& 1& 0\end{array}\right)\left(\begin{array}{c}{\epsilon }_{t-1}\\ {\epsilon }_{t-2}\\ {\epsilon }_{t-3}\end{array}\right)+\left(\begin{array}{c}1\\ 0\\ 0\end{array}\right)\left(\begin{array}{c}{\epsilon }_t\\ 0\\ 0\end{array}\right)\\ =& \left(\begin{array}{c}{\epsilon }_t\\ {\epsilon }_{t-1}\\ {\epsilon }_{t-2}\end{array}\right)\end{array}$$

def simulate_ma2_state_space(theta1, theta2, n=300, sigma=1.0, seed=123):
    np.random.seed(seed)

    e = np.random.normal(0, sigma, n)
    y = np.zeros(n)
    xi = np.zeros(3)

    H = np.array([1.0, theta1, theta2])

    F = np.array(
        [
            [0.0, 0.0, 0.0],
            [1.0, 0.0, 0.0],
            [0.0, 1.0, 0.0],
        ]
    )

    G = np.array([1.0, 0.0, 0.0])

    for t in range(n):
        xi = F @ xi + G * e[t]
        y[t] = H @ xi

    return y

• 前者は全期間を一括で計算しているのに対し、後者は1期ずつ逐次計算している
• 得られる結果は同じ

MA(1), MA(2), MA(3)のシミュレーション

MA(1)

MA(2)

MA(3)

$$y_t={\epsilon }_t+{\theta }_1{\epsilon }_{t-1}+{\theta }_2{\epsilon }_{t-2}+{\theta }_3{\epsilon }_{t-3}{\epsilon }_t\sim N(0,{\sigma }^2)$$

行列で表すと、

$$y=B(\theta )\epsilon$$

n=4なら、

$$\left(\begin{array}{c}{y}_0\\ y_1\\ y_2\\ y_3\end{array}\right)=\left(\begin{array}{cccc}1& 0& 0& 0\\ {\theta }_1& 1& 0& 0\\ {\theta }_2& {\theta }_1& 1& 0\\ {\theta }_3& {\theta }_2& {\theta }_1& 1\end{array}\right)\left(\begin{array}{c}{\epsilon }_0\\ {\epsilon }_1\\ {\epsilon }_2\\ {\epsilon }_3\end{array}\right)$$

MAの由来

• Slutzky(1937)
  • 1927年にロシア語で発表、1937年Economerica
• Wold(1938)p87-93
  • 式(176)が現在Wold分解と呼ばれるもの$$\{\xi (t)\}=\{\zeta (t)\}+\{\psi (t)\}$$

MAのAutocorrelation Function (ACF)

(再掲)

• 定常時系列$\{y_1,\dots ,y_N\}$が与えられたとき、平均、自己共分散関数、自己相関関数は以下のように推定できる$$\begin{array}{rl}\hat{\mu }=& \frac{1}{N}\sum _{n=1}^N{y}_n\\ {\hat{C}}_k=& \frac{1}{N}\sum _{n=k+1}^N(y_n-\hat{\mu })(y_{n-k}-\hat{\mu })\\ {\hat{R}}_k=& \frac{{\hat{C}}_k}{{\hat{C}}_0}\end{array}$$
• コレログラムとは標本自己相関を図示したもの：横軸$k$、縦軸$k$次の標本自己相関

MA(1)

MA(2)

$({\theta }_1,{\theta }_2)=(0.0,0.0)$

$(\theta_1,\theta_2)=(0.0,0.8)$ $(\theta_1,\theta_2)=(0.8,0.0)$ $(\theta_1,\theta_2)=(0.8,0.5)$

MA(3)

$({\theta }_1,{\theta }_2,{\theta }_3)=(0.0,0.0,0.0)$

$(\theta_1,\theta_2,\theta_3)=(0.6,0.3,0.2)$ $(\theta_1,\theta_2,\theta_3)=(0.8,0.0,0.0)$ $(\theta_1,\theta_2,\theta_3)=(-0.8,0.6,-0.4)$

• 理論上はq以内でコレログラムが切れるはず
• q期間であれば誤差項の影響が最大qで終わるから
• (標本自己相関を図示しているため、図では綺麗に切れていない)