时间序列分析与预测

第三讲：时间序列的特征

---

黄嘉平

深圳大学中国经济特区研究中心
粤海校区汇文楼1510
https://huangjp.com/

度量相关性

均值函数

由于时间序列 \{x_t\} 是随机过程，我们希望知道关于 x_t 分布的信息，例如期望值和方差。

均值函数 mean function

时间序列 \{x_t\} 的均值函数定义为

\mu_{xt} = E(x_t)

有时也会省略下角标中的 x，而简写为 \mu_t 。

• 均值函数是时间 t 的函数。
• 方差函数可以定义为 \mathrm{var}(x_t) = E\big[(x_t - \mu_{xt})^2\big]。

均值函数的例子

移动平均序列的均值函数

白噪声序列 \{w_t\} 的均值函数是 \mu_{wt} = 0。因此，由白噪声项的线性结合定义的移动平均序列 \{v_t\} 的均值函数也是 \mu_{vt}=0。

均值函数的例子

带漂移项的随机游走序列的均值函数

当 x_t = \delta t + \sum_{j=1}^t w_j 时，其均值函数为

\mu_{xt} = E(x_t) = \delta t + \sum_{j=1}^t E(w_j) = \delta t

自协方差函数

协方差代表两个随机变量间的线性相关关系，将协方差的概念应用到不同时间点的 x_s 和 x_t 就得到了自协方差。

自协方差函数 autocovariance function

时间序列 \{x_t\} 在时间点 s 和 t 间的自协方差函数定义为

\gamma_x(s,t) = \mathrm{cov}(x_s, x_t) = E\big[(x_s - \mu_{s})(x_t - \mu_t)\big]

有时也会省略下角标中的 x，而简写为 \gamma(s,t) 。

• \gamma_x(t,t) = \mathrm{cov}(x_t, x_t) = \mathrm{var}(x_t)
• 白噪声序列的自协方差函数是 \gamma_w(s,t) = \begin{cases}\sigma_w^2 & \text{if } s=t \\ 0 & \text{if } s\neq t\end{cases}

不同滤波间的协方差

定理

随机变量 U=\sum_{j=1}^m a_j X_j 和 V=\sum_{k=1}^r b_k Y_k 分别是序列 \{X_t\} 和 \{Y_t\} 的滤波。U 和 V 的协方差是 \mathrm{cov}(U,V) = \sum_{j=1}^m \sum_{k=1}^r a_j b_k \, \mathrm{cov}(X_j, Y_k)

m=2, r=1 时的证明：
\begin{align*}\mathrm{cov}(U,V) &= \mathrm{cov}(a_1 X_1 + a_2 X_2, b_1 Y_1) \\&= E\big[ (a_1 X_1 + a_2 X_2 - a_1 \mu_{X1} - a_2 \mu_{X2})(b_1 Y_1 - b_1 \mu_{Y1})\big]\\&= E\big[ \{(a_1 X_1 - a_1 \mu_{X1}) + (a_2 X_2 - a_2 \mu_{X2})\}(b_1 Y_1 - b_1 \mu_{Y1})\big] \\&= E\big[ (a_1 X_1 - a_1 \mu_{X1})(b_1 Y_1 - b_1 \mu_{Y1}) + (a_2 X_2 - a_2 \mu_{X2})(b_1 Y_1 - b_1 \mu_{Y1})\big]\\&= \mathrm{cov}(a_1 X_1, b_1 Y_1) + \mathrm{cov}(a_2 X_2, b_1 Y_1) \end{align*}

自协方差函数的例子

移动平均序列的自协方差

三点移动平均序列 v_t = \tfrac{1}{3}(w_{t-1} + w_t + w_{t+1}) 的自协方差函数为

\gamma_v(s,t) = \mathrm{cov}(v_s, v_t) = \mathrm{cov}\big[ \tfrac{1}{3}(w_{s-1} + w_s + w_{s+1}) + \tfrac{1}{3}(w_{t-1} + w_t + w_{t+1}) \big] 当 s=t 时，

\begin{align*} \gamma_v(t,t) &= \tfrac{1}{9}\big[ \mathrm{cov}(w_{t-1}, w_{t-1}) + \mathrm{cov}(w_t, w_t) + \mathrm{cov}(w_{t+1}, w_{t+1}) \big] \\ &= \tfrac{1}{3} \sigma_w^2 \end{align*}

当 s=t+1 时，

\begin{align*} \gamma_r(t+1,t) &= \tfrac{1}{9}\big[ \mathrm{cov}(w_t, w_t) + \mathrm{cov}(w_{t+1}, w_{t+1}) \big] \\ &= \tfrac{2}{9} \sigma_w^2 \end{align*}

同理可得其他情况下的 \gamma_v(s,t)，因此

\gamma_v(s,t) = \begin{cases} \tfrac{1}{3} \sigma_w^2 & \text{ if } s=t, \phantom{\Big(}\\ \tfrac{2}{9} \sigma_w^2 & \text{ if } |s-t| = 1, \phantom{\Big(}\\ \tfrac{1}{9} \sigma_w^2 & \text{ if } |s-t| = 2, \phantom{\Big(}\\ 0 & \text{ if } |s-t| > 2. \phantom{\Big(} \end{cases}

自协方差函数的例子

随机游走序列的自协方差

随机游走序列为 x_t = \sum_{j=1}^t w_j，因此其自协方差函数为

\gamma_x(s,t) = \mathrm{cov}(x_s, x_t) = \mathrm{cov} \Big( \sum_{j=1}^s w_s, \sum_{k=1}^t w_t \Big) = \min\{s,t\} \, \sigma_w^2

最后一个等式可以参考下面 (s,t) = (2,4) 的例子

\gamma_x(2,4) = \mathrm{cov}(w_1 + w_2, w_1 + w_2 + w_3 + w_4) = 2\sigma_w^2

因此，随机游走过程的方差为 \mathrm{var}(x_t) = \gamma_x(t,t) = t \sigma_w^2 。

模拟随机游走过程

注：绘制此图时用了 scales 包中的 alpha() 命令以调整线条的透明度。

自相关函数

自相关函数将自协方差函数的取值投影在 [-1,1] 上。

自相关函数 autocorrelation function (ACF)

时间序列的自相关函数定义为

\rho(s,t) = \frac{\gamma(s,t)}{\sqrt{\gamma(s,s) \gamma(t,t)}}

• \rho(s,t) 代表 x_s 和 x_t 间的线性相关性。
• 如果 x_t = \beta_0 + \beta_1 x_s，则 \beta_1 > 0 时 \rho(s,t) = 1，\beta_1 < 0 时 \rho(s,t) = -1。 此时如果已知 x_s 的取值，我们就可以预测 x_t 的取值。
• \rho(t, t) \equiv 1。

交叉协方差和交叉相关函数

交叉协方差函数 cross-covariance function

序列 \{x_t\} 和 \{y_t\} 的交叉协方差函数定义为

\gamma_{xy}(s,t) = \mathrm{cov}(x_s, y_t) = E\big[ (x_s - \mu_{xs})(y_t - \mu_{yt}) \big]

交叉相关函数 cross-correlation function (CCF)

序列 \{x_t\} 和 \{y_t\} 的交叉相关函数定义为

\rho_{xy}(s,t) = \frac{\gamma_{xy}(s,t)}{\sqrt{\gamma_x(s,s) \gamma_y(t,t)}}

平稳性

什么是平稳时间序列？

“平稳”的时间序列是一种特殊的性质，它要求任意长度的子序列的联合分布只和该子序列的长度有关，而和观测时间无关。平稳的序列代表该序列进入了一种统计学上的均衡状态。下面我们通过均值和自协方差函数定义序列的平稳性。

平稳性 stationarity

一个时间序列是平稳的（stationary）是指它拥有有限方差，且满足

1. 其均值函数 \mu_t 是常数，且不依赖于时间 t。
2. 其自协方差函数 \gamma(s,t) 仅依赖于时间 s 和 t 的差。

随机游走序列的自协方差函数是 \gamma(s,t) = \min\{s,t\}\sigma_w^2 ，依赖于时间，因此不是平稳的。

平稳时间序列的特征函数

平稳时间序列的均值函数和时间 t 无关，因此可以写为 \mu_t = \mu。

平稳时间序列的自协方差函数只和时间之差有关，如果另 s=t+h，则\gamma(t+h,h) = \mathrm{cov}(x_{t+h}, x_t) = \mathrm{cov}(x_h, x_0) = \gamma(h,0) 因此可以简写为 \gamma(h)。

平稳时间序列的自相关函数可以简写为

\rho(h)=\frac{\gamma(h)}{\gamma(0)}

平稳时间序列的例子

白噪声序列是平稳的

白噪声序列的均值和自协方差函数分别是 \mu_{wt}=0 和

\gamma_w(h)= \begin{cases} h\sigma_w^2 & \text{if } h = 0 \\ 0 & \text{if } h \neq 0 \end{cases}

移动平均序列是平稳的

当 v_t = \tfrac{1}{3}(w_{t-1} + w_t + w_{t+1}) 时，其均值函数为 \mu_{vt} = 0，自协方差和自相关函数分别为

\gamma_v(h) = \begin{cases} \tfrac{1}{3} \sigma_w^2 & \text{ if } h=0,\\ \tfrac{2}{9} \sigma_w^2 & \text{ if } h = \pm 1, \\ \tfrac{1}{9} \sigma_w^2 & \text{ if } h = \pm 2, \\ 0 & \text{ if } |h| > 2, \end{cases} \quad \quad \rho_v(h) = \begin{cases} 1 & \text{ if } h=0,\\ 2/3 & \text{ if } h = \pm 1, \\ 1/3 & \text{ if } h = \pm 2, \\ 0 & \text{ if } |h| > 2. \end{cases}

自相关函数图

• 上图中描绘了三点移动平均序列的自相关函数值。
• 横轴的 lag 为时间间隔，也称作滞后期，即 h = s-t。

平稳序列的其他相关性质

• 有的时间序列的均值函数和时间 t 有关，但自协方差函数和 t 无关。这种序列称为趋势平稳（trend stationary）。例如 x_t = \delta t + w_t。
  
  

• 根据定义，\gamma(0) = \mathrm{var}(x_t)，\gamma(h) = \gamma(-h) 。
  
  

• \gamma(h) 在 h=0 时取最大值，即 \gamma(0) \geq \gamma(h)。
  
  

• 自回归序列是否平稳要具体情况具体分析，例如最简单的 AR(1) 序列 x_t = \phi x_{t-1} + w_t 只有在 |\phi| < 1 时才是平稳的。我们后面会详细学习自回归模型。

联合平稳性

联合平稳性 joint stationarity

如果两个平稳时间序列 \{x_t\} 和 \{y_t\} 的交叉协方差函数

\gamma_{xy}(h) = \mathrm{cov}(x_{t+h}, y_t) = E\big[ (x_{t+h} - \mu_x)(y_t - \mu_y) \big]

仅是时间间隔 h 的函数，则称这两个序列联合平稳（jointly stationary）。

联合平稳序列的交叉相关函数

联合平稳序列 \{x_t\} 和 \{y_t\} 的交叉相关函数（CCF）可以写为

\rho_{xy}(h) = \frac{\gamma_{xy}(h)}{\sqrt{\gamma_x(0) \gamma_y(0)}}

注：一般情况下，\rho_{xy}(h) \neq \rho_{xy}(-h)，但是 \rho_{xy}(h) = \rho_{yx}(-h)。

章后练习 2.2

• 问题
• a 答案
• b 答案
• c 答案

考虑时间序列模型x_t = \beta_0 + \beta_1 t + w_t,其中 \beta_0 和 \beta_1 是回归系数，w_t \sim wn(0, \sigma_w^2) 是白噪声。

1. \{x_t\} 是平稳过程吗？

2. 证明 y_t = x_t - x_{t-1} 是平稳过程。

3. 证明 z_t = \tfrac{1}{3}(x_{t-1} + x_t + x_{t+1}) 的均值函数是 \beta_0 + \beta_1 t。

平稳序列需满足的条件 1 为“该序列的均值函数 \mu_t 是常数，且不依赖于时间 t”。

\{x_t\} 的 均值函数

\mu_{xt} = E(x_t) = E(\beta_0 + \beta_1 t + w_t) = \beta_0 + \beta_1 t

是时间 t 的函数，因此 \{x_t\} 不是平稳过程。

\begin{align*} y_t &= (\beta_0 + \beta_1 t + w_t) - (\beta_0 + \beta_1 (t-1) + w_{t-1})\\ &= \beta_1 + w_t - w_{t-1} \end{align*}

\Rightarrow

\begin{align*} &\mu_{yt} = \beta_1 \\ &\gamma_y(s,t) = \begin{cases} 2\sigma_w^2 & \text{if } s = t \\ -\sigma_w^2 & \text{if } |s-t| = 1 \\ 0 & \text{if } |s-t| > 1 \end{cases} \end{align*} 因此，\{y_t\} 是平稳过程。

\begin{align*} z_t &= \tfrac{1}{3}\big[3 \beta_0 + \beta_1 (t-1 + t + t+1)+ w_{t-1} + w_t + w_{t+1}\big]\\ &= \beta_0 + \beta_1 t + \tfrac{1}{3}(w_{t-1} + w_t + w_{t+1}) \end{align*}

\Rightarrow

\begin{align*} \quad \mu_{zt} &= \beta_0 + \beta_1 t + E\big[ \tfrac{1}{3}(w_{t-1} + w_t + w_{t+1}) \big] \\ &= \beta_0 + \beta_1 t \end{align*}