前言

在多元线性回归中曾经提到，经典线性回归模型的估计结果:

\begin{equation} \boldsymbol{\hat{\beta}}=\left(\boldsymbol{X'}\boldsymbol{X}\right)^{-1}\boldsymbol{X'}\boldsymbol{Y} \end{equation}

上述估计量的方差为:

\begin{equation} \begin{aligned} \operatorname{Var}(\hat{\beta})&=\operatorname{Var}\left(\left(\boldsymbol{X'}\boldsymbol{X}\right)^{-1}\boldsymbol{X'}\boldsymbol{Y}\right)\\ &=\left(\left(\boldsymbol{X'}\boldsymbol{X}\right)^{-1}\boldsymbol{X'}\right)^T\operatorname{Var}(Y)\left(\boldsymbol{X'}\boldsymbol{X}\right)^{-1}\boldsymbol{X'}\\ &=\left(\boldsymbol{X'}\boldsymbol{X}\right)^{-1}\sigma^2 \end{aligned} \end{equation}

其中 $\sigma^2$ 为随机误差项的残差(最后一步的证明用到了随机扰动项同方差不相关的假设)，这也就是说当模型的解释变量之间存在多重共线的情况时，即使 $X'X$ 的逆存在，模型参数的估计的方差也会因为 $\left(\boldsymbol{X'}\boldsymbol{X}\right)^{-1}$ 的存在而变得很大，进而导致模型的预测能力下降

完全多重共线情况下，模型的的估计结果会直接不存在

岭回归就是为了解决上述存在的问题而提出的一种很直观的方法——直接从 $X'X$ 的逆的存在性入手，通过引入 $\lambda \operatorname{I}$ 对 $X'X$ 的逆进行调整，将原估计结果变为:

\begin{equation} \boldsymbol{\hat{\beta}}=\left(\boldsymbol{X'}\boldsymbol{X}+\lambda \operatorname{I}\right)^{-1}\boldsymbol{X'}\boldsymbol{Y} \end{equation}

模型

在经典线性模型的估计中，若使用最小二乘估计则可以把模型看为一个简单的优化问题,即：

\begin{equation} \begin{aligned} \hat{\beta}&=\operatorname{argmin} \left||Y-\beta^T X\right||_2^2\\ &s.t. ||\beta||_2=1 \end{aligned} \end{equation}

假定上述优化问题的解是 $\hat{\beta}^{OLS}$ ,可以通过线性变换证明岭回归的估计结果为下述规划问题的解:

\begin{equation} \begin{aligned} \hat{\beta}^{Ridge}&=\operatorname{argmin}\, ||Y-\beta^T X||_2^2+\lambda\sum_{\boldsymbol{i}=\boldsymbol{1}}^p \beta_i^2\\ &s.t. ||\beta||_2=1 \end{aligned} \end{equation}

上述约束问题等价如下的对偶问题(目标函数是凸函数):

\begin{equation} \begin{aligned} \hat{\beta}^{Ridge}&=\operatorname{argmin}\,||Y-\beta^T X||_2^2\\ &s.t. \sum_{\boldsymbol{i}=\boldsymbol{1}}^p \beta_i^2<t \end{aligned} \end{equation}

其中 $\lambda$ 和 $t$ 都是一个用来调整估计结果的一个超参数，一般情况下， $\lambda$ 越大， $t$ 越小，模型估计得到的系数会越小，估计的误差会越大(可通过SVD进一步说明)。

从式（6）不难看出，t越小，优化问题的可行域相较于OLS问题就越小，因此岭回归方法本质上是一种对参数估计结果的压缩方法(Shrinkage method)，需要注意的是岭回归方法虽然会对参数进行压缩，但是并不能将参数压缩为0。

对样本矩阵作PCA分解，岭回归对方差小的主成分压缩程度更大，主要避免的就是在方差小的主成分上的潜在高方差变量的问题， Ridge regression protects against the potentially high variance of gradients estimated in the short directions(esl)