本篇文章由博主参考王燕老师的《应用时间序列分析》结合学校开设的《时间序列分析》课程撰写,主要用来作为考前复习,如有疏漏欢迎留言讨论。

斜体或者标题加*内容为辅助理解内容

Introduction

传统的统计学习过程中我们用样本推断总体的方法时,我们希望分析的随机变量越少越好,同时每一个变量的信息(样本容量 n)越大越好,这从两个方面保证了我们统计分析的合理性,而对于时间序列而言,因为引入了时间变量TT,我们将每一个时刻的值都视为一个随机变量,这样的话相当于对于每一个随机变量进行分析时我们只能使用这个时刻的数据,这对于统计分析的展开是非常不利的,这个时候很容易就想到能不能将不同时刻的数据结合在一起来对每一时刻的随机变量进行一个估计,这种做法的前提就是不同时刻对应随机变量的具有某种一定的相似性,这也就引出了我们所说的“平稳性”的概念,简单来说时间序列的平稳性就是在看随机变量的分布特征是否会随着时间改变。

特征统计量

这块主要是涉及对序列统计性质的描述,基本上和数理统计学到的内容一致.

  1. 均值
    平稳时间序列_20220923232440

  2. 方差
    平稳时间序列_20220923232645

  3. 自协方差函数和自相关系数(Auto Correlation Function)
    这两部分和数理统计没有太大的出入,主要是一个概念的区分,之所以要在“相关系数”前加一个“自”,是因为这里研究的是两个相关变量是同一事件在两个不同时期之间的相关程度的度量,形象地来说就是度量自己过去的行为对自己现在的影响

对于时间序列Zt,tT{Z_t,t\in T},定义自协方差函数γ(t,s)\gamma(t,s)为:

γ(t,s)=E(Xtμt)(Xsμs)(t,sT)\gamma(t, s)=E\left(X_t-\mu_t\right)\left(X_s-\mu_s\right)(t,s\in T)

ACF

自相关系数(Auto Correlation Function)记为ρ(t,s)\rho(t,s)为:

ρ(t,s)=γ(t,s)γ(t,t)γ(s,s)\rho(t, s)=\frac{\gamma(t, s)}{\sqrt{\gamma(t, t)\gamma(s, s)}}

平稳性

严平稳是一种条件十分苛刻的平稳,也是最先想到的平稳,也就是说我们会认为分布不会随时间改变的序列属于严平稳序列:

对于一个给定的时间序列Zt{Z_t}任何正整数mm和整数t1<t2<<tmt_1< t_2<… < t_m,此序列中的随机变量(Zt1+s,Zt2+s,Ztm+s)(Z_{t_1+s},Z_{t_2+s},Z_{t_m+s})的联合分布函数(joint distribution function)与整数 s 无关,我们就认为该序列是严平稳的

从定义中不难看出,这种条件是很难进行验证的,在实际应用过程中,我们更可能会遇到一种比较宽松的平稳,也就是弱平稳
在宽平稳中,我们放松了对随机变量分布的要求——一阶矩不随时间改变,二阶矩存在,同时为了防止相差太大,也对两个自协方差函数做出了一定要求:

γ(t,s)=E[(Ztμ)(Zsμ)]=γ(ts,0)\gamma(t, s)=E\left[\left(Z_t-\mu\right)\left(Z_s-\mu\right)\right]=\gamma(t-s, 0)

即认为宽平稳
宽平稳时间序列的性质:

  • 常数均值:μt=μ(μ固定常数)\mu_t=\mu(\mu\text{固定常数})
  • 序列的自协方差函数与自相关系数只与时间间隔有关,与时间起点无关。

记间隔为kk的自相关系数为ρk\rho_k,于是有:

ρ(t,s)=r(t,s)r(t,t)r(s,s)=rkr0r0=rkr0=ρk\rho(t, s)=\frac{r(t, s)}{\sqrt{r(t, t)} \sqrt{r(s, s)}}=\frac{r_k}{\sqrt{r_0} \sqrt{r_0}}=\frac{r_k}{r_0}=\rho_k

自相关系数的一些性质:

  • 规范性:ρ0=1\rho_0=1ρk1,k|\rho_k|\le 1,\forall k
  • 对称性: ρk=ρk\rho_{k}=\rho_{-k}
  • 非负定性(补充): 相关系数组成的阵为非负定阵

除此以外,自相关系数还具有对应模型的非唯一性,一个平稳时间序列对应一个自相关系数,但是一个自相关系数未必对应一个平稳时间序列。

注意

严平稳与宽平稳之间并不存在是一个平稳序列就一定是另一个平稳序列的关系。事实上,一个严平稳序列,某一时刻的随机变量可以不存在二阶矩(Secondary Moment),因此,它不一定是宽平稳序列;反之,一个宽平稳序列的分布不一定随时间推移而不变,也就不一定是严平稳序列。严平稳强调的是分布(distribution),宽平稳强调的随机变量(Stochastic Variable)的数字特征(Numerical Characteristic)。

从图形分析序列的平稳性

严平稳要求每个变量的分布相同,这种平稳条件下的时间序列的图形可以看做一个是一个随机变量的分布图,宽平稳则要求均值相等和二阶矩有限,也就是说数据的时间图显示出 T 个值围绕特定常数水平上以相同幅度波动。
平稳时间序列_20220924114004

平稳序列自相关系数的估计

这个不是老师课堂讲的内容,感觉可以帮助加深对平稳性度量的理解。前边提到对平稳性的界定是为了能够对序列的特征进行估计,这里以估计平稳序列的均值和自相关系数为例来进行具体的说明:
对于一个宽平稳序列{Z_t},该序列中随机变量对应的均值序列为:

μt,tT{\mu_t,t\in T}

因为序列是平稳的,所以均值序列变为了常数列(μt=μ\mu_t=\mu):

μ,tT{\mu,t\in T}

这样对均值进行估计时就可以用到每一个随机变量的观察值,使得本来难以估计的均值变得可以估计(所有观察值都可以看做对均值的估计),这样的话对于序列均值的估计值就变成了:

μ^=xˉ=i=1nxin\hat{\mu}=\bar{x}=\frac{\sum\limits_{i=1}^n x_i}{n}

同理,也可以得到基于全体观察样本得到的自协方差函数的估计值:

γ^(k)=t=1nk(xtxˉ)(xt+kxˉ)nk,0<k<n\hat{\gamma}(k)=\frac{\sum_{t=1}^{n-k}\left(x_t-\bar{x}\right)\left(x_{t+k}-\bar{x}\right)}{n-k}, \forall 0<k<n

自相关系数的估计值:

\begin{equation*} \begin{aligned} \hat{\rho}_k=\frac{\hat{\gamma}(k)}{\hat{\gamma}(0)}, \forall 0<k<n\\ \hat{\rho}_k \cong \frac{\sum_{t=1}^{n-k}\left(x_i-\bar{x}\right)\left(x_{t+k}-\bar{x}\right)}{\sum_{t=1}^n\left(x_i-\bar{x}\right)^2}, \forall 0<k<n \end{aligned} \end{equation*}

上述估计的条件是knk\ll n

白噪声序列

白噪声序列是平稳序列的一种,之所以将这种序列单拿出来是因为这种序列有比较特殊的性质。我们对时间序列的分析是希望借助历史数据来预测未来走势,但是如果某一个序列中各项之间完全不相关,那么即使这种序列是平稳的,研究这种序列也是没有意义的。这种序列值之间不具有任何相关关系,波动完全随机的序列叫做纯随机序列,也叫做白噪声序列,严格定义如下:
(1) 任取 tTt \in T, 有 EXt=μE X_t=\mu;
(2) 任取 t,sTt, s \in T, 有

γ(t,s)={σ2,t=s0,ts\gamma(t, s)=\left\{\begin{array}{l} \sigma^2, t=s \\ 0, t \neq s \end{array}\right.

白噪声序列的两条性质:

  • 纯随机性:γ(k)=0\gamma(k)=0
  • 方差齐性:DXt=γ(0)=σ2DX_t=\gamma(0)=\sigma^2

方差齐性是一条很重要的性质,根据马尔科夫定理,只有方差齐性下才会有 OLS 无偏估计的性质

平稳时间序列

分析方法

延迟算子:
平稳时间序列_20220925155917
线性差分方程的形式:
对于序列{zt,t=0,±1,±2}\{z_t,t=0,\pm1,\pm2\},其线性差分方程定义为:

zt+a1zt1+a2zt2++apztp=h(t)[p1]z_t+a_1 z_{t-1}+a_2 z_{t-2}+\cdots+a_p z_{t-p}=h(t)[p\ge1]

AR

AR(p)AR(p)模型是一类自回归模型,用序列前 q 期的值对ztz_t做回归:

{xt=ϕ0+ϕ1xt1+ϕ2xt2++ϕpxtp+εtϕp0(限定最高阶数为p)E(εt)=0,Var(εt)=σε2,E(εtεs)=0,st({ε}为零均值白噪声序列)Exsεt=0,s<t(当前随机干扰与过去序列值无关)\left\{\begin{array}{l} x_t=\phi_0+\phi_1 x_{t-1}+\phi_2 x_{t-2}+\cdots+\phi_p x_{t-p}+\varepsilon_t \\ \phi_p \neq 0(\text{限定最高阶数为p}) \\ E\left(\varepsilon_t\right)=0, \operatorname{Var}\left(\varepsilon_t\right)=\sigma_{\varepsilon}^2, E\left(\varepsilon_{t} \varepsilon_s\right)=0, s \neq t (\{\varepsilon\}\text{为零均值白噪声序列})\\ E x_s \varepsilon_t=0, \forall s<t\text{(当前随机干扰与过去序列值无关)} \end{array}\right.

一般会默认省去式中的限制条件,将模型简单记作:

xt=ϕ0+ϕ1xt1+ϕ2xt2++ϕpxtp+εtx_t=\phi_0+\phi_1 x_{t-1}+\phi_2 x_{t-2}+\cdots+\phi_p x_{t-p}+\varepsilon_t

另外也可以对{xt}\{x_t\}做中心化处理得到一个中心化序列(ϕ0=0\phi_0=0),这样的简化能够使得模型更加简洁。
AR(p)引入延迟算子之后的形式为:

\begin{equation} \begin{aligned} & x_{t-1} =B x_t \\ &x_{t-2} =B^2 x_t \\ & \dots \\ &x_{t-p} =B^p x_t\\ &x_t=\phi_1 x_{t-1}+\phi_2 x_{t-2}+\cdots+\phi_p x_{t-p}+\varepsilon_t\\ &=\phi_1 B x_t+\phi_2 B^2 x_t+\cdots+\phi_p B^p x_t+\varepsilon_t \end{aligned} \end{equation}

接着对上式进行一步简化:

\begin{equation} \begin{aligned} &x_t-\phi_1 B x_t-\phi_2 B^2 x_t-\cdots+\phi_p B^p x_t=\varepsilon_t\\ &(1-\phi_1 B-\phi_2 B^2-\cdots+\phi_p B^p )x_t=\varepsilon_t\\ &\varPhi(B)x_t=\varepsilon_t \end{aligned} \end{equation}

其中Φ(B)\varPhi(B)称为p 阶自回归系数多项式,注意与线性差分方程的特征方程区分开(后来有证明二者的根互为倒数):

λpϕ1λp1ϕ2λp2ϕp=0\lambda^p-\phi_1 \lambda^{p-1}-\phi_2 \lambda^{p-2}-\cdots-\phi_p=0

后来在寻找 AR(p)AR(p)模型平稳的条件时,需要解对应的线性差分差分方程,要求特征根的模长均小于 1 来保证序列是平稳的,又因为证明了线性回归系数多项式的零点和特征根是倒数关系,所以要求 AR(p)AR(p)模型的自回归系数多项式Φ(B)=0\varPhi(B)=0的根在单位圆外。

这块老师 ppt 上以一阶和二阶自回归模型的平稳性条件做了进一步说明,简单来说就是要求根都在圆外,我就不重复了,主要讨论一下二者的 ACF 和 PACF 情况

PACF

对于自相关系数来说,虽然分析的是两个变量之间的相关性,但是因为XtX_t会受到Xt1,Xt2X_{t-1},X_{t-2}\dots的影响,因此一定程度上并不是两个变量之间纯的相关关系,而偏自相关系数就很好的解决了这个问题,它提出了中间变量的干扰,来测度xtkx_{t-k}xtx_t的影响,数学语言描述:

ρxt,xtkxt1,,xtk+1=E[(xtE~xt)(xtkE^xtk)]E[(xtkE^xtk)2]\rho_{x_t, x_{t-k} \mid x_{t-1}, \cdots, x_{t-k+1}}=\frac{E\left[\left(x_t-\tilde{E} x_t\right)\left(x_{t-k}-\hat{E} x_{t-k}\right)\right]}{E\left[\left(x_{t-k}-\hat{E} x_{t-k}\right)^2\right]}

式中, E^xt=E[xtxt1,,xtk+1],E^xtk=E[xtkxt1,,xtk+1]\hat{E} x_t=E\left[x_t \mid x_{t-1}, \cdots, x_{t-k+1}\right], \hat{E} x_{t-k}=E\left[x_{t-k} \mid x_{t-1}, \cdots, x_{t-k+1}\right] 。这就是滞后 kk 偏自相关系数的定义。
可以证明,对于中心化平稳序列来说有:

\begin{equation} \begin{aligned} x_t=\phi_{k1} x_{t-1}+\phi_{k2} x_{t-2}+\cdots+\phi_{kk} x_{t-k}+\varepsilon_t \\ \frac{E\left[\left(x_t-\tilde{E} x_t\right)\left(x_{t-k}-\hat{E} x_{t-k}\right)\right]}{E\left[\left(x_{t-k}-\hat{E} x_{t-k}\right)^2\right]}=\phi_{kk} \end{aligned} \end{equation}

换言之也就是说 k 阶偏自相关系数实际上就等于 k 阶自回归模型第 k 个回归参数ϕkk\phi_{kk}的值。具体的求解过程,这里以老师 PPT 上的二阶 PACF 的求解为例进行说明,阶数升高方法仍相同,本质上都是克莱姆法则求方程的解。
二阶自回归模型:

\begin{equation} x_t=\phi_{21} x_{t-1}+\phi_{22} x_{t-2}+\varepsilon_t \end{equation}

对上式分别乘xt1x_{t-1}xt2x_{t-2}然后取期望可得:

γ2=ϕ21γ1+ϕ22γ0(同乘xt2)γ1=ϕ21γ0+ϕ22γ1(同乘xt1)\begin{aligned} & \gamma_2=\phi_{21} \gamma_1+\phi_{22} \gamma_0\left(\text{同乘} x_{t-2}\right) \\ & \gamma_1=\phi_{21} \gamma_0+\phi_{22} \gamma_1\left(\text{同乘}x_{t-1}\right) \end{aligned}

然后约去γ0\gamma_0得到:

ρ1ϕ21+ϕ22=ρ2ϕ21+ρ1ϕ22=ρ1\begin{aligned} \rho_1 &\phi_{21}+&\phi_{22} &=\rho_2 \\ &\phi_{21}+\rho_1 &\phi_{22} &=\rho_1 \end{aligned}

由 Crammer 法则可得:

D=ρ111ρ1D2=ρ1ρ21ρ1\begin{aligned} &D=\left|\begin{array}{ll} \rho_1 & 1 \\ 1 & \rho_1 \end{array}\right| \quad D_2=\left|\begin{array}{ll} \rho_1 & \rho_2 \\ 1 & \rho_1 \end{array}\right| \\ \end{aligned}

ϕ2=D2D=ρ2ρ121ρ12\displaystyle\phi_2=\frac{D_2}{D}=\frac{\rho_2-\rho_1^2}{1-\rho_1^2}
可以证明,对于 AR(p)AR(p)模型,当 k>p 时,最后解得的ϕkk=0\phi_{kk}=0,这也是 AR(p)AR(p)模型的一个重要特性,即滞后 p 阶以后的偏自相关系数都为 0,因此可以通过观察 PACF 图来判断模型的阶数。

AR(1)

对于AR(1)A R(1) 模型:

xt=ϕ1xt1+εtx_t=\phi_1 x_{t-1}+\varepsilon_t

对应的ACFA C F :

γk=E(xtut)(xtkutk)=E(xtxtk)=E(ϕ1xtkxt1+εtxtk)=ϕ1E(xtkxt1)==ϕ1kE(xtk2)=ϕ1kγ0\begin{aligned} \gamma_k=& E\left(x_t-u_t\right)\left(x_{t-k}-u_{t-k}\right) \\ =& E\left(x_t x_{t-k}\right) \\ =& E\left(\phi_1 x_{t-k} x_{t-1}+\varepsilon_t x_{t-k}\right) \\ =& \phi_1 E\left(x_{t-k} x_{t-1}\right) \\ =& \cdots \\ =& \phi_1^k E\left(x_{t-k}^2\right) \\ =&\phi_1^k \gamma_0 \end{aligned}

于是:

ρk=rkr0=ϕ1k\rho_k=\frac{r_k}{r_0}=\phi_1^k

又因为对于一阶回归系数对应的零点为B=1ϕ1>1B=\frac{1}{\phi_1}>1,因此ϕ1<1\phi_1<1,故ρk\rho_k会随着kk的增大呈指数级下降,这种现象又叫做拖尾,会离 0 越来越近。
PACF:
平稳时间序列_20220925192610

AR(2)

AR(2)模型的求解相对来说会复杂一点,但是整体思路是比较一致的,这里写下 AR(2)模型的 ACF 和 PACF 的求解过程:
ACF:

xt=ϕ1xt1+ϕ2xt2+εtx_t=\phi_1 x_{t-1}+\phi_2 x_{t-2}+\varepsilon_t

对上式同乘 xtkx_{t-k} 然后取期望:

E(xtxtk)=E(ϕ1xt1xtk)+E(ϕ2xt2xtk)E(εtxtk)=0于是有:rk=ϕ1rk1+ϕ2rk2\begin{aligned} E\left(x_t x_{t-k}\right) &=E\left(\phi_1 x_{t-1} x_{t-k}\right)+E\left(\phi_2 x_{t-2} x_{t-k}\right) \\ E\left(\varepsilon_t x_{t-k}\right) &=0\\ \text{于是有:}r_k&=\phi_1 r_{k-1}+\phi_2 r_{k-2} \end{aligned}

解上式对应的差分方程得:

γk=C1(λ1)k+C2(λ2)kλ1=ϕ1+ϕ12+4ϕ22=1B1<1λ2=ϕ1ϕ12+4ϕ22=1B2<1\begin{aligned} &\gamma_k=C_1\left(\lambda_1\right)^k+C_2\left(\lambda_2\right)^k \\ &\lambda_1=\frac{\phi_1+\sqrt{\phi_1^2+4\phi_2}}{2}=\frac{1}{B_1}<1 \\ &\lambda_2=\frac{\phi_1-\sqrt{\phi_1^2+4 \phi_2}}{2}=\frac{1}{B_2}<1 \end{aligned}

即随着 k 的增大,γk\gamma_k会呈指数级下降,为拖尾。

  • 若为实根, 呈指数衰减;
  • 若为复根, 星阻尼正玄波衰减

PACF:

ϕ11=γ1=ϕ11ϕ2ϕ22=γ2γ1ϕ111γ1ϕ11=γ2γ121γ12=ϕ2ϕ21=ϕ11ϕ22ϕ11=γ1ϕ2γ1=ϕ11ϕ2ϕ1ϕ21ϕ2=ϕ1ϕ33=γ3γ2ϕ21γ1ϕ221γ1ϕ21γ2ϕ22=ϕ1γ2+ϕ2γ1γ2ϕ1γ1ϕ21γ1ϕ1γ2ϕ2=0\begin{aligned} \phi_{11}&=\gamma_1=\frac{\phi_1}{1-\phi_2} \\ \phi_{22}&=\frac{\gamma_2-\gamma_1 \phi_{11}}{1-\gamma_1 \phi_{11}} \\ &=\frac{\gamma_2-\gamma_{1 }^2}{1-\gamma_1^2}=\phi_2\\ \phi_{21}&=\phi_{11}-\phi_{22} \phi_{11} \\ &=\gamma_1-\phi_2 \gamma_1=\frac{\phi_1}{1-\phi_2}-\frac{\phi_1 \phi_2}{1-\phi_2}=\phi_1 \\ \phi_{33}&=\frac{\gamma_3-\gamma_2 \phi_{21}-\gamma_1 \phi_{22}}{1-\gamma_1 \phi_{21}-\gamma_2 \phi_{22}} \\ &=\frac{\phi_1 \gamma_2+\phi_2 \gamma_1-\gamma_2 \phi_1-\gamma_1 \phi_2}{1-\gamma_1 \phi_1-\gamma_2 \phi_2}=0 \end{aligned}

k3k \geq 3时, $ \phi_{k k}=0, $ 为截尾现象。

p 步尾截和前边的自相关系数拖尾性是 AR(p)AR(p)模型两条比较重要的性质,它们决定了 AR(p)AR(p)模型的收敛性和稳定性。p 步尾截是指 AR(p)AR(p)模型的自相关系数在 p 步以后都为 0,而拖尾是指 AR(p)AR(p)模型的自相关系数在 p 步以后呈指数衰减。p 步尾截和拖尾是 AR(p)AR(p)模型的两个重要性质,它们决定了 AR(p)AR(p)模型的收敛性和稳定性。p 步尾截是指 AR(p)AR(p)模型的自相关系数在 p 步以后都为 0,而拖尾是指 AR(p)AR(p)模型的自相关系数在 p 步以后呈指数衰减。

MA

q 阶移动平均模型MA(q)MA(q):

{xt=μ+εtθ1εt1θ2εt2θiεtqθq0限制最高阶数E(εt)=0,Var(εt)=σε2,E(εtεs)=0,st零均值白噪声序列\left\{\begin{array}{l} x_t=\mu+\varepsilon_t-\theta_1 \varepsilon_{t-1}-\theta_2 \varepsilon_{t-2}-\cdots-\theta_i \varepsilon_{t-q} \\ \theta_q \neq 0 \text{限制最高阶数}\\ E\left(\varepsilon_t\right)=0, \operatorname{Var}\left(\varepsilon_t\right)=\sigma_{\varepsilon}^2, E\left(\varepsilon_t \varepsilon_s\right)=0, s \neq t\text{零均值白噪声序列} \end{array}\right.

引入延迟算子,模型可以简记为:

xt=Θ(B)εtx_t=\Theta(B) \varepsilon_t

式中, Θ(B)=1θ1Bθ2B2θ4Bq\Theta(B)=1-\theta_1 B-\theta_2 B^2-\cdots-\theta_4 B^q, 称为 qq 阶移动平均系数多项式。
该模型的几条性质

  • 均值为常数
  • 方差为常数:

    Var(xt)=Var(μ+εtθ1εt1θ2εt2θtεtq)=(1+θ12++θq2)σε2\operatorname{Var}\left(x_t\right)=\operatorname{Var}\left(\mu+\varepsilon_t-\theta_1 \varepsilon_{t-1}-\theta_2 \varepsilon_{t-2}-\cdots-\theta_t \varepsilon_{t-q}\right)=\left(1+\theta_1^2+\cdots+\theta_q^2\right) \sigma_{\varepsilon}^2

ACF

ACF 和 PACF 的计算老师都是以 MA(1)模型为例,这里和教材上思路一样试着推导一下 q 阶 MA 模型的 ACF 和 PACF,主要还是对假设条件的运用。

自协方差函数:

xt=μ+εti=1qθtεtiγk=E(xtu)(xtku)=E(εti=1qθtεti)(εtki=1qεtki)\begin{aligned} x_t&=\mu+\varepsilon_t-\sum_{i=1}^q \theta_t \varepsilon_{t-i}\\ \gamma_k&=E\left(x_t-u\right)\left(x_{t-k}-u\right)\\ &=E\left(\varepsilon_t-\sum_{i=1}^q \theta_t \varepsilon_{t-i}\right)\left(\varepsilon_{t-k}-\sum_{i=1}^q \varepsilon_{t-k-i}\right)\\ \end{aligned}

E(γk)=0E(\gamma_k)=0

  1. q<kq<k,因为εti=1qθtεti\displaystyle\varepsilon_t-\sum_{i=1}^q \theta_t \varepsilon_{t-i}εtki=1qεtki\displaystyle \varepsilon_{t-k}-\sum_{i=1}^q \varepsilon_{t-k-i}不存在交叉项,所以:

    γk=0\gamma_k=0

  2. qk1q \geqslant k \geqslant 1

    γk=E(t=kaθiεti)(εtki=1qkθiεtki)=E(θkεtk2)+E(i=11kθiθk+iεtki2)=(θk+i=1qkθiθk+i)σε2\begin{aligned} \gamma_k&=E\left(-\sum_{t=k}^a \theta_i \varepsilon_{t-i}\right)\left( \varepsilon_{t-k}-\sum_{i=1}^{q-k}\theta_i \varepsilon_{t-k-i}\right)\\ &=E\left(-\theta_k \varepsilon_{t-k}^2\right)+E\left(\sum_{i=1}^{1-k} \theta_i \theta_{k+i} \varepsilon_{t-k-i}^2\right)\\ &=\left(-\theta_k+\sum_{i=1}^{q-k} \theta_i \theta_{k+i}\right) \sigma_{\varepsilon}^2\\ \end{aligned}

  3. k=0k=0

    γ0=E(εti=1qθiεti)2=(1+i=1aθi2)σε2\begin{aligned} \gamma_0&=E\left(\varepsilon_t-\sum_{i=1}^q \theta_i \varepsilon_{t-i}\right)^2\\ &=\left(1+\sum_{i=1}^a \theta_i^2\right) \sigma_{\varepsilon}^2 \end{aligned}

综上可得MA(q)MA(q)模型的 ACF 为:

\begin{equation} \begin{aligned} \gamma_k&=E\left(x_t-u\right)\left(x_{t-k}-u\right)\\ &= \begin{cases}\displaystyle\left(1+\theta_1^2+\cdots+\theta_q^2\right) \sigma_{\varepsilon}^2, & k=0 \\ \left(-\theta_k+\sum\limits_{i=1}^{q-k} \theta_i \theta_{k+i}\right) \sigma_{\varepsilon}^2,& 1 \leqslant k \leqslant q \\ 0, & k>q\end{cases} \end{aligned} \end{equation}

MA(q)模型的自相关系数ρk\rho_k为:

\begin{equation} \rho_k=\frac{\gamma_k}{\gamma_0}= \begin{cases}\displaystyle1, & k=0 \\ \displaystyle\frac{-\theta_k+\sum\limits_{i=1}^{q-k} \theta_i \theta_{k+i}}{1+\theta_1^2+\cdots+\theta_q^2}, & 1 \leqslant k \leqslant q \\ 0, & k>q\end{cases} \end{equation}

自相关系数 q 阶截尾。

可逆性

前边在介绍自相关系数的时候有提到过自相关系数的非唯一性:一个自相关系数未必唯一对应一个平稳时间序列模型。
因为这种非唯一性可能会影响我们根据样本自相关系数来选择拟合模型,所以这里为了让 MA 模型和自相关系数能一一对应,引入一个约束条件,也叫做 MA 模型的可逆性条件。

可逆性条件老师的 ppt 有提到,但是我不知道是否有展开说明,可逆性在老师 ppt 上唯一的体现是老师说了 MA 模型是可逆的。

可逆性判断条件:若一个 MA 模型能够表示成收敛的 AR 模型形式,那么该 MA 模型是可逆的,一个自相关系数唯一对应一个可逆的 MA 模型:
平稳时间序列_20220926145148
AR 和 MA 模型的表示形式是比较对称的,不过一个是对εt\varepsilon_t进行了一个 k 阶延迟,一个是对xtx_t做了一个延迟,所以只能说两者相近,MA 的可逆概念和 AR 的平稳概念是近似的,最后都是让对应的 k 阶系数多项式有在单位圆外的根。
教材里给出了求逆转形式的方法,这里就不再进行说明。

PACF

如果 MA 模型可逆的话,就可以将 MA 模型转化为 AR 模型,这样 MA 模型的 PACF 也可求了。
计算公式:

\begin{equation} \begin{aligned} \phi_{11}&=\rho_1 \\ &=\frac{-\theta_1}{\left(1+\theta_1^2\right)}=\frac{-\theta_1\left(1-\theta_1^2\right)}{1-\theta_1^4} \\ \phi_{22}&=\frac{\rho_2-\rho_1 \phi_{11}}{\rho_1 \phi_{11}} \\ &=\frac{-\rho_1^2}{1-\rho_1^2}=\frac{-\theta_1^2\left(1-\theta_1^2\right)}{1-\theta_1^6}\\ \phi_{33}&=\frac{\rho_3-\rho_2 \phi_{21}-\rho_1 \phi_{22}}{1-\rho_1 \phi_{21}-\rho_2 \phi_{22}} \\ &=\frac{\rho_1^3}{1-2 \rho_1^2}=\frac{-\theta_1^3\left(1-\theta_1^2\right)}{1-\theta_1^8} \end{aligned} \end{equation}

MA(q)模型的 PACF 是不断减小的,为拖尾。

ARMA

ARMA 模型的全称是自回归移动平均(autoregressionmovingaverage)模型,它是目前最常用的拟合平稳序列的模型。ARMA(p,q)相当于是把 AR(p)AR(p)和 MA(q)结合了起来:

{xt=ϕ0+ϕ1xt1++ϕpxtp+εtθ1εt1θqεtqϕp0,θq0E(εt)=0,Var(εt)=σε2,E(εtεs)=0,stE(xsεt)=0,s<t\left\{\begin{array}{l} x_t=\phi_0+\phi_1 x_{t-1}+\cdots+\phi_p x_{t-p}+\varepsilon_t-\theta_1 \varepsilon_{t-1}-\cdots-\theta_{q} \varepsilon_{t-q} \\ \phi_p \neq 0, \theta_q \neq 0 \\ E\left(\varepsilon_t\right)=0, \operatorname{Var}\left(\varepsilon_t\right)=\sigma_{\varepsilon}^2, E\left(\varepsilon_t \varepsilon_s\right)=0, s \neq t \\ E\left(x_{s} \varepsilon_t\right)=0, \forall s<t \end{array}\right.

对于中心化 ARMA 模型,可以省略ϕ0\phi_0,引入延迟算子,ARMA(p,q)可以简记为:

Φ(B)xt=Θ(B)εt\Phi(B) x_t=\Theta(B) \varepsilon_t

式中,
Φ(B)=1ϕ1BϕpBp\Phi(B)=1-\phi_1 B-\cdots-\phi_p B^p, 为 pp 阶自回归系数多项式。
Θ(B)=1θ1BθqBq\Theta(B)=1-\theta_1 B-\cdots-\theta_q B^q, 为 qq 阶移动平均系数多项式。
显然,
q=0q=0 时, ARMA(p,q)\mathrm{ARMA}(p, q) 模型就退化成了 AR(p)\mathrm{AR}(p) 模型;
p=0p=0 时, ARMA(p,q)\mathrm{ARMA}(p, q) 模型就退化成了 MA(q)\mathrm{MA}(q) 模型。
所以, AR(p)\mathrm{AR}(p) 模型和 MA(q)\mathrm{MA}(q) 模型实际上是 ARMA(p,q)\mathrm{ARMA}(p, q) 模型的特例, 它们都统 称为 ARMA\mathrm{ARMA} 模型。而 ARMA(p,q)\mathrm{ARMA}(p, q) 模型的统计性质也正是 AR(p)\mathrm{AR}(p) 模型和 MA(q)\mathrm{MA}(q) 模型 统计性质的有机组合。

平稳条件和可逆条件

平稳时间序列_20220926151617
ACF 和 PACF 的计算都要用到 Green 函数,这个函数老师貌似并没有提到,这里为了降低理解的难度只以 ARMA(1,1)为例展开说明。
MA 模型中引入的 u 充当的其实就是 AR 模型中的ztz_t的角色。

ACF

  1. k=0

    γ0=E(xtxt)=E(ϕ1xtxt1)+E(xtεt)θ1E(xtεt1)E(xtεt)=E(ϕtxt1εt)+E(εt2)θ1E(εtεt1)=σε2E(xtεt1)=ϕ1E(xt1εt1)+E(εtεt1)θ1(εt1εt1)=ϕ1σε2θ1σε2γ0=ϕ1γ1+σε2θ1(ϕ1θ1)σε2\begin{aligned} \gamma_0 &=E\left(x_t x_t\right) \\ &=E\left(\phi_1 x_t x_{t-1}\right)+E\left(x_t \varepsilon_t\right)-\theta_1 E\left(x_t \varepsilon_{t-1}\right) \\ E\left(x_t \varepsilon_t\right)&=E\left(\phi_t x_{t-1} \varepsilon_t\right)+E\left(\varepsilon_t^2\right)-\theta_1E\left(\varepsilon_t \varepsilon_{t-1}\right)\\ &=\sigma_{\varepsilon}^2\\ E\left(x_t \varepsilon_{t-1}\right) &=\phi_1 E\left(x_{t-1} \varepsilon_{t-1}\right)+E\left(\varepsilon_t \varepsilon_{t-1}\right)-\theta_1\left(\varepsilon_{t-1} \varepsilon_{t-1}\right) \\ &=\phi_1 \sigma_{\varepsilon}^2-\theta_1 \sigma_{\varepsilon}^2\\ \text{故}\gamma_0 &=\phi_1 \gamma_1+\sigma_{\varepsilon}^2-\theta_1\left(\phi_1 -\theta_1 \right)\sigma_{\varepsilon}^2 \end{aligned}

  2. k>0,方程两边同乘 xtkx_{t-k}, 并取期望得:

    \begin{equation} \begin{aligned} E\left(x_{t-k} x_t\right)&=\phi_1 E\left(x_{t-k} x_{t-1}\right)+E\left(x_{t-k} \varepsilon_t\right)-\theta_1 E\left(x_{t-k} \varepsilon_{t-1}\right) \\ \gamma_k&=\phi_1 \gamma_{k-1}+E\left(x_{t-k} \varepsilon_t\right)-\theta_1 E\left(x_{t-k} \varepsilon_{t-1}\right) \\ \end{aligned} \end{equation}

    最后可以得到:

    ρk={(ϕ1θ1)(1ϕ1θ1)1+θ122ϕ1θ1(k=1)ϕ1ρk1(k2) \rho_k=\left\{\begin{array}{l} \frac{\left(\phi_1-\theta_1\right)\left(1-\phi_1 \theta_1\right)}{1+\theta_1^2-2 \phi_1 \theta_1}(k=1) \\ \phi_1 \rho_{k-1}(k \geq 2) \end{array}\right.

    因为 ρ1<1\left|\rho_1\right|<1 (一阶自相关系数)

    ϕ1<1,θ1<1,ρ2=ϕ1ρ1,ρ3=ϕ1ρ2=ϕ12ρ1, \begin{aligned} & \left|\phi_1\right|<1,\left|\theta_1\right|<1, \rho_2=\phi_1 \rho_1, \\ & \rho_3=\phi_1 \rho_2=\phi_1^2 \rho_1 \ldots, \end{aligned}

    可见 ρk\rho_k 是衰减的, 呈现拖尾现象

PACF

PACF 也是拖尾的,因为计算形式复杂这里就不再展开

总结

AR(p)MA(q)ARMA(p,q) 模型方程 Φ(B)xt=εtxt=Θ(B)εtΦ(B)xt=Θ(B)εt 平稳性条件 Φ(B)xt=0 的根在单位圆外  无 Φ(B)xt=0 的根在单位圆外 可逆性条件  无 Θ(B)εt=0 的根在单位圆外 Θ(B)εt=0 的根在单位圆外  自相关函数  拖尾  q步截尾 拖尾 偏自相关函数 p 步截尾  拖尾  拖尾\begin{array}{|c|c|c|c|} \hline & \mathrm{AR}(\mathrm{p}) & \mathrm{MA}(\mathrm{q}) & \mathrm{ARMA}(\mathrm{p}, \mathrm{q}) \\ \hline \text { 模型方程 } & \Phi(\mathrm{B})x_t=\mathrm{\varepsilon}_{\mathrm{t}} & \mathrm{x}_{\mathrm{t}}=\Theta(\mathrm{B}) \mathrm{\varepsilon}_{\mathrm{t}} & \Phi(\mathrm{B}) \mathrm{x}_{\mathrm{t}}=\Theta(\mathrm{B}) \mathrm{\varepsilon}_{\mathrm{t}} \\ \hline \text { 平稳性条件 } & \begin{array}{l} \Phi(\mathrm{B})x_t=0 \text { 的根在单位圆外 } \end{array} & \text { 无 } & \begin{array}{l} \Phi(\mathrm{B})x_t=0 \text { 的根在单位圆外} \end{array} \\ \hline \text { 可逆性条件 } & \text { 无 } & \begin{array}{l} \Theta(\mathrm{B})\varepsilon_t=0 \text { 的根在单位圆外 }\end{array} & \begin{array}{l} \Theta(\mathrm{B})\varepsilon_t=0 \text { 的根在单位圆外 }\end{array} \\ \hline \text { 自相关函数 } & \text { 拖尾 } & \text { q步截尾 } &\text{拖尾}\\ \hline \text { 偏自相关函数 } & \mathrm{p} \text { 步截尾 } & \text { 拖尾 } & \text { 拖尾} \\ \hline \end{array}