【笔记】一元线性回归方程中的回归系数

基于《计量经济学导论》中文译本；

关于：

1. 回归系数的求解；
2. 系数的无偏性；
3. 系数的抽样方差；
4. sigma的无偏性；

1. 回归系数的求解

首先，我们拥有一个数据集 $x=\{x_1,x_2…,x_n\}$ , $y=\{y_1,y_2,…,y_n\}$

$$\bar x =n^{-1} \sum_{i=1}^n x_i\ ,\ \bar y =n^{-1} \sum_{i=1}^n y_i \tag{0}$$

对于一个简单的一元线性回归方程

$$y = \alpha +\beta x+u$$

其中 $\alpha , \beta$ 是我们假设的完美情况下存在的系数，$u$ 为得到数据时存在的干扰值/误差

我们将用普通最小二乘法推导模型

$$\hat y = \hat\alpha + \hat\beta x$$

其中 $\alpha , \beta$ 是我们通过数据推导得到的系数, $\hat{y}$ 是通过模型得到的拟合值

我们的目标函数

$$Min\ Q =(y-\hat{y})^2=(y-\hat\alpha - \hat\beta x)^2 \tag{1}$$

为了求最小值， (1) 进行对 $\hat{\alpha},\hat{\beta}$ 求偏导，并令其值等于0

得到

$$\begin{align} \frac{\partial Q}{\partial \hat\alpha}=(-2)(y-\hat\alpha-\hat\beta x)&=0\\ y-\hat\alpha-\hat\beta x&=0 \tag{2} \end{align}$$ $$\begin{align} \frac{\partial Q}{\partial \hat\beta}=(-2x)(y-\hat\alpha-\hat\beta x)&=0\\ x(y-\hat\alpha-\hat\beta x)&=0 \tag{3} \end{align}$$

接下来通过对 $x,y$ 的展开(求和的上下限忽略不写)，从 (2) 中推得性质

$$\begin{align} \sum (y_i - \hat\alpha - \hat\beta x_i) &=0\\ \sum y_i &=\sum (\hat\alpha + \hat\beta x_i) \gets (0) \\ n \bar y &=n \hat\alpha + n \hat\beta \bar x\\ \bar y &=\hat\alpha + \hat\beta \bar x \tag{4} \end{align}$$

将 (4) 代入 (3) 得到

$$\begin{align} x(y-\bar y + \hat\beta \bar x-\hat\beta x)&=0\\ x(y-\bar y)&=\hat\beta x(x-\bar x) \tag{5} \end{align}$$

推导两个新特质

$$\begin{align} \sum (x_i-\bar x_i)^2 &= \sum (x_i^2 + \bar x_i^2 -2\bar xx_i) \\ &=\sum x_i^2 + n \bar x_i\bar x_i - 2\bar x\sum x_i \gets (0)\\ &=\sum x_i^2 + n \bar x_i n^{-1}\sum x_i - 2\bar x\sum x_i\\ &= \sum x_i^2 -\bar x\sum x_i\\ &= \sum x_i(x_i-\bar x) \tag{6} \end{align}$$ $$\begin{align} \sum (x_i-\bar x_i)(y_i-\bar y_i) &= \sum (x_iy_i + \bar x_i\bar y_i -x_i\bar y_i-y_i\bar x_i) \gets (0)\\ &=\sum x_iy_i + n \bar x_i\bar y_i - n\bar x\bar y - n\bar x\bar y \gets (0)\\ &=\sum x_iy_i - n \bar y_i n^{-1}\sum x_i\\ &= \sum x_iy_i -\bar y\sum x_i\\ &= \sum x_i(y_i-\bar y) \tag{7} \end{align}$$

将 (6) , (7) 代入 (5) 得

$$\begin{align} \sum (x_i-\bar x)(y_i-\bar y)&= \sum \hat\beta(x_i-\bar x)^2\\ \hat\beta &= \frac{\sum (x_i-\bar x)(y_i-\bar y)}{\sum (x_i-\bar x)^2} \tag{8} \end{align}$$

最终我们得到两系数的值

$$\begin{cases} \hat\beta = \frac{\sum (x_i-\bar x)(y_i-\bar y)}{\sum (x_i-\bar x)^2} \\ \hat\alpha = \bar y - \hat\beta \bar x \tag{9} \end{cases}$$

2. 系数的无偏性

重申一个特质

$$\begin{align} \sum(x_i-\bar x)&=\sum x_i-n\bar x \gets (0) \\ &= n\bar x-n\bar x\\ &= 0 \tag{10} \end{align}$$

首先对 $\hat\beta$ 进行变换

$$\begin{align} \hat\beta &= \frac{\sum (x_i-\bar x)(y_i-\bar y)}{\sum (x_i-\bar x)^2} \gets (7)\\ &= \frac{\sum (x_i-\bar x)y_i}{\sum (x_i-\bar x)^2}\\ &= \frac{\sum (x_i-\bar x)(\alpha +\beta x_i+u_i)}{\sum (x_i-\bar x)^2} \gets (10)\\ &= \frac{\sum (x_i-\bar x)(\beta x_i+u_i)}{\sum (x_i-\bar x)^2} \gets (6)\\ &= \frac{\sum ((x_i-\bar x)^2\beta+(x_i-\bar x)u_i)}{\sum (x_i-\bar x)^2}\\ &= \beta+\frac{\sum (x_i-\bar x)u_i}{\sum (x_i-\bar x)^2} \tag{11} \end{align}$$

对 $\hat\beta$ 无偏性的证明

$$\begin{align} E(\hat\beta) &= \beta + E(\frac{\sum (x_i-\bar x)u_i}{\sum (x_i-\bar x)^2})\\ &= \beta + \frac{\sum (x_i-\bar x)E(u_i)}{\sum (x_i-\bar x)^2} \gets SLR.4\\ &= \beta \end{align}$$

SLR.4 : Zero Conditional Mean

注意在中文版中SLR.3才是零条件均值

对 $\hat\alpha$ 无偏性的证明

$$\begin{align} E(\hat\alpha) &= E(\bar y - \hat\beta \bar x)\\ &= E(\alpha +\beta \bar x+\bar u - \hat\beta \bar x) \gets SLR.4\\ &= \alpha + \beta \bar x - \beta \bar x\\ &= \alpha \end{align}$$

3. 系数的抽样方差

提前定义

$$u_i \sim N(0,\sigma^2)$$

重申关于 $Var$ 的知识点

$$Var(x+y)=Var(x)+Var(y)+2Cov(x,y) \tag{12}$$ $$Cov(x,y)=E(xy)-E(x)E(y) \tag{13}$$ $$Var(\bar u)=Var(\frac{\sum u_i}{n})=\frac{\sum Var(u_i)}{n^2}=\frac{\sigma^2}{n} \tag{14}$$

从 (11) 对 $\hat\beta$ 进行方差的推导

$$\begin{align} Var(\hat\beta) &= Var(\frac{\sum (x_i-\bar x)u_i}{\sum (x_i-\bar x)^2})\\ &= \frac{1}{(\sum (x_i-\bar x)^2)^2}Var(\sum (x_i-\bar x)u_i)\\ &= \frac{1}{(\sum (x_i-\bar x)^2)^2}\sum (x_i-\bar x)^2Var(u_i)\\ &= \frac{1}{(\sum (x_i-\bar x)^2)^2}\sum (x_i-\bar x)^2\sigma^2\\ &= \frac{\sigma^2}{\sum (x_i-\bar x)^2} \tag{15} \end{align}$$

推导一个新特质

$$\begin{align} (13) \to Cov(\bar u,(\beta - \hat\beta) \bar x) &= E((\beta - \hat\beta) \bar x \bar u)-E(\bar u)E((\beta - \hat\beta) \bar x)\\ &= E((\beta - \hat\beta) \bar x \bar u) \gets (11) \\ &= E(\frac{\sum (x_i-\bar x)u_i\bar u\bar x}{\sum (x_i-\bar x)^2})\\ &= (\frac{\sum (x_i-\bar x)\bar x}{\sum (x_i-\bar x)^2})^2E(u_i\bar u) \gets (10)\\ &= 0\times E(u_i\bar u) \tag{16} \end{align}$$

扩展

这里的 $E(u_i\bar u)$ 不能等于0，因为 $i$ 与 $\bar u$ 中除了编号是 $i$ 的其他残差独立

$E(u_i\bar u)=\frac{1}{n}\sum_{j=1}^nE(u_iu_j)=\frac{1}{n}E(u_i^2)=\frac{\sigma^2}{n}$

$E(u_i^2) = Var(u_i)-E(u_i)^2=\sigma^2$

对 $\hat\alpha$ 进行方差的推导

$$\begin{align} Var(\hat\alpha) &= Var(\bar y - \hat\beta \bar x)\\ &= Var(\alpha +\beta \bar x+\bar u - \hat\beta \bar x)\\ &= Var(\bar u +(\beta - \hat\beta) \bar x) \gets (12)\\ &= Var(\bar u)+Var((\beta - \hat\beta) \bar x)+2Cov(\bar u,(\beta - \hat\beta) \bar x) \gets (14)(15)(16)\\ &= \frac{\sigma^2}{n} + \frac{\sigma^2\bar x^2}{\sum (x_i-\bar x)^2}\\ &= \frac{\sum (x_i-\bar x)^2\sigma^2+n\sigma^2\bar x^2}{n\sum (x_i-\bar x)^2}\\ &= \frac{\sigma^2}{n}\frac{\sum (x_i-\bar x)^2+n\bar x^2}{\sum (x_i-\bar x)^2}\\ &= \frac{\sigma^2}{n}\frac{\sum (x_i^2+\bar x^2-2x_i\bar x)+n\bar x^2}{\sum (x_i-\bar x)^2} \gets (0)\\ &= \frac{\sigma^2}{n}\frac{\sum x_i^2+n\bar x^2-2n\bar x^2+n\bar x^2}{\sum (x_i-\bar x)^2}\\ &= \frac{\sigma^2}{n}\frac{\sum x_i^2}{\sum (x_i-\bar x)^2} \tag{17} \end{align}$$

4. sigma的无偏性

定义

• $u_i$ : 误差

• $\hat u_i = y-\hat y = u_i+(\alpha-\hat\alpha)+(\beta-\hat\beta)x_i$ : 残差

• $\sigma^2 = n^{-1}\sum u_i^2 = (n-2)^{-1}\sum \hat u_i^2 = \frac{SSR}{n-2}$ : 因为包含两个限制条件，所以减少两个自由度

由 (2) 得

$$\begin{align} 0&= y-\hat\alpha-\hat\beta x\\ &= \alpha -\hat\alpha +\beta x -\hat\beta x +u\\ &= (\alpha -\hat\alpha) +(\beta -\hat\beta)\bar x +\bar u \tag{18} \end{align}$$

将原有残差公式与 (18) 相减

$$\begin{align} \sum \hat u_i &= \sum (u_i-\bar u)+\sum (\beta-\hat\beta)(x_i-\bar x)\\ \sum \hat u_i^2 &= \sum (u_i-\bar u)^2 + \sum (\beta-\hat\beta)^2(x_i-\bar x)^2 + \sum 2(u_i-\bar u)(\beta-\hat\beta)(x_i-\bar x)\\ \end{align}$$

右侧第一项的期望值是样本误差的方差 $(n-1)\sigma^2$

右侧第二项因为 $E[(\hat\beta-\beta)^2]=Var(\hat\beta)-E[(\hat\beta-\beta)]^2=Var(\hat\beta)$ 代入 (15) 得期望为 $\sigma^2$

推导一个新特质

$$\begin{align} (8)\to \sum(u_i-\bar u)(x_i-\bar x) &=\sum u_i(x_i-\bar x)\\ &=\sum (y_i-\alpha-\beta x_i)(x_i-\bar x) \gets (10)\\ &=\sum (y_i-\beta x_i)(x_i-\bar x) \gets (6) (7)\\ &=\sum (y_i-\bar y)(x_i-\bar x)-\sum\beta (x_i-\bar x)^2 \gets (8)\\ &=\sum \hat\beta (x_i-\bar x)^2-\sum\beta (x_i-\bar x)^2\\ &=(\hat \beta-\beta)\sum(x_i-\bar x)^2 \tag{19} \end{align}$$

右侧第三项可代入 (19) 并求期望得 $E[-2(\hat \beta-\beta)^2\sum(x_i-\bar x)^2]=-2\sigma^2$

将三项放在一起得 $E(\sum\hat u_i^2)=(n-1)\sigma^2+\sigma^2-2\sigma^2=(n-2)\sigma^2$

因此可证得 $E[SSR/(n-2)]=\sigma^2$