返回课程

作业 1:参考答案

1. 变量间的统计关系和函数关系是什么?

函数关系

函数关系是一种确定性关系。给定自变量 XX 的取值后,因变量 YY 的取值便被唯一确定:

Y=f(X).Y=f(X).

例如,半径为 rr 的圆,其面积满足

S=πr2.S=\pi r^2.

只要 rr 确定,SS 就唯一确定。

统计关系

统计关系是一种非确定性关系。给定 XX 后,YY 的取值仍然具有随机性,只能描述其条件分布或平均变化规律:

Y=f(X)+ε,Y=f(X)+\varepsilon,

其中,ε\varepsilon 表示其他因素和随机误差造成的扰动。

例如,收入与消费之间通常可以表示为

Y=β0+β1X+ε.Y=\beta_0+\beta_1X+\varepsilon.

即使收入 XX 相同,不同个体的消费 YY 也可能不同。

两者的主要区别如下:

关系给定 XX 后的 YY是否含有随机性
函数关系唯一确定否
统计关系不能唯一确定是

2. 回归分析与相关分析的区别与联系是什么?

联系

回归分析与相关分析都用于研究变量之间的统计关系,考察变量是否共同变化以及这种关系的方向和强弱。

在一元线性回归中,样本相关系数 rr 与回归斜率估计量 β^1\hat{\beta}_1 满足

β^1=rsYsX,\hat{\beta}_1 = r\frac{s_Y}{s_X},

其中,sXs_X 和 sYs_Y 分别为 XX 与 YY 的样本标准差。

因此,

sgn⁡(β^1)=sgn⁡(r).\operatorname{sgn}(\hat{\beta}_1) = \operatorname{sgn}(r).

在含有截距项的一元线性回归中,决定系数还满足

R2=r2.R^2=r^2.

区别

比较内容相关分析回归分析
研究目的衡量变量间线性关系的方向与强度建立变量间的数量关系并进行解释或预测
变量地位变量地位对称区分解释变量与被解释变量
主要结果相关系数 rr回归方程与参数估计
对称性rXY=rYXr_{XY}=r_{YX}YY 对 XX 的回归与 XX 对 YY 的回归通常不同
量纲相关系数没有量纲回归系数通常具有量纲
取值范围−1≤r≤1-1\leq r\leq 1回归系数没有固定的取值范围
主要用途描述相关程度解释、估计和预测

需要注意:

相关关系⇏因果关系.\text{相关关系} \not\Rightarrow \text{因果关系}.

回归分析本身同样不能自动证明因果关系。因果解释还需要合理的研究设计、理论依据与识别条件。


3. 最小二乘估计量 β^0\hat{\beta}_0 与 β^1\hat{\beta}_1 的推导

考虑一元线性回归模型

Yi=β0+β1Xi+εi,i=1,2,…,n.Y_i=\beta_0+\beta_1X_i+\varepsilon_i, \qquad i=1,2,\ldots,n.

给定样本观测值 (Xi,Yi)(X_i,Y_i),第 ii 个观测值的残差为

ei=Yi−β0−β1Xi.e_i = Y_i-\beta_0-\beta_1X_i.

最小二乘法通过最小化残差平方和来估计参数:

Q(β0,β1)=∑i=1n(Yi−β0−β1Xi)2.Q(\beta_0,\beta_1) = \sum_{i=1}^n \left( Y_i-\beta_0-\beta_1X_i \right)^2.

分别对 β0\beta_0 和 β1\beta_1 求偏导:

∂Q∂β0=−2∑i=1n(Yi−β0−β1Xi),\frac{\partial Q}{\partial\beta_0} = -2\sum_{i=1}^n \left( Y_i-\beta_0-\beta_1X_i \right), ∂Q∂β1=−2∑i=1nXi(Yi−β0−β1Xi).\frac{\partial Q}{\partial\beta_1} = -2\sum_{i=1}^n X_i \left( Y_i-\beta_0-\beta_1X_i \right).

令两个偏导数均为零,得到正规方程:

∑i=1n(Yi−β^0−β^1Xi)=0,\sum_{i=1}^n \left( Y_i-\hat{\beta}_0-\hat{\beta}_1X_i \right) = 0, ∑i=1nXi(Yi−β^0−β^1Xi)=0.\sum_{i=1}^n X_i \left( Y_i-\hat{\beta}_0-\hat{\beta}_1X_i \right) = 0.

由第一个正规方程可得

∑i=1nYi=nβ^0+β^1∑i=1nXi.\sum_{i=1}^nY_i = n\hat{\beta}_0 + \hat{\beta}_1\sum_{i=1}^nX_i.

两边同时除以 nn,得到

Yˉ=β^0+β^1Xˉ.\bar{Y} = \hat{\beta}_0+\hat{\beta}_1\bar{X}.

因此,

β^0=Yˉ−β^1Xˉ.\boxed{ \hat{\beta}_0 = \bar{Y}-\hat{\beta}_1\bar{X} }.

将其代入第二个正规方程,得到

∑i=1n(Xi−Xˉ)(Yi−Yˉ)=β^1∑i=1n(Xi−Xˉ)2.\sum_{i=1}^n (X_i-\bar{X})(Y_i-\bar{Y}) = \hat{\beta}_1 \sum_{i=1}^n (X_i-\bar{X})^2.

记

Sxx=∑i=1n(Xi−Xˉ)2,S_{xx} = \sum_{i=1}^n (X_i-\bar{X})^2, Sxy=∑i=1n(Xi−Xˉ)(Yi−Yˉ),S_{xy} = \sum_{i=1}^n (X_i-\bar{X})(Y_i-\bar{Y}),

则斜率的最小二乘估计量为

β^1=SxySxx=∑i=1n(Xi−Xˉ)(Yi−Yˉ)∑i=1n(Xi−Xˉ)2.\boxed{ \hat{\beta}_1 = \frac{S_{xy}}{S_{xx}} = \frac{ \sum_{i=1}^n (X_i-\bar{X})(Y_i-\bar{Y}) }{ \sum_{i=1}^n (X_i-\bar{X})^2 } }.

截距的最小二乘估计量为

β^0=Yˉ−β^1Xˉ.\boxed{ \hat{\beta}_0 = \bar{Y}-\hat{\beta}_1\bar{X} }.

因此,样本回归方程为

Y^i=β^0+β^1Xi.\boxed{ \hat{Y}_i = \hat{\beta}_0+\hat{\beta}_1X_i }.

4. β^0\hat{\beta}_0 的方差推导

假设经典线性回归模型满足

E⁡(εi∣X)=0,\operatorname{E}(\varepsilon_i\mid X)=0, Var⁡(εi∣X)=σ2,\operatorname{Var}(\varepsilon_i\mid X)=\sigma^2, Cov⁡(εi,εj∣X)=0,i≠j.\operatorname{Cov}(\varepsilon_i,\varepsilon_j\mid X)=0, \qquad i\neq j.

由模型

Yi=β0+β1Xi+εiY_i=\beta_0+\beta_1X_i+\varepsilon_i

可得

Yˉ=β0+β1Xˉ+εˉ,\bar{Y} = \beta_0+\beta_1\bar{X}+\bar{\varepsilon},

其中

εˉ=1n∑i=1nεi.\bar{\varepsilon} = \frac{1}{n} \sum_{i=1}^n\varepsilon_i.

斜率估计量可以写为

β^1=∑i=1n(Xi−Xˉ)YiSxx.\hat{\beta}_1 = \frac{ \sum_{i=1}^n (X_i-\bar{X})Y_i }{ S_{xx} }.

将

Yi=β0+β1Xi+εiY_i=\beta_0+\beta_1X_i+\varepsilon_i

代入上式,得到

β^1=∑i=1n(Xi−Xˉ)(β0+β1Xi+εi)Sxx=β1+∑i=1n(Xi−Xˉ)εiSxx.\begin{aligned} \hat{\beta}_1 &= \frac{ \sum_{i=1}^n (X_i-\bar{X}) (\beta_0+\beta_1X_i+\varepsilon_i) }{ S_{xx} }\\ &= \beta_1 + \frac{ \sum_{i=1}^n (X_i-\bar{X})\varepsilon_i }{ S_{xx} }. \end{aligned}

因此,

β^1−β1=∑i=1n(Xi−Xˉ)εiSxx.\hat{\beta}_1-\beta_1 = \frac{ \sum_{i=1}^n (X_i-\bar{X})\varepsilon_i }{ S_{xx} }.

又因为

β^0=Yˉ−β^1Xˉ,\hat{\beta}_0 = \bar{Y}-\hat{\beta}_1\bar{X},

所以

β^0=β0+β1Xˉ+εˉ−β^1Xˉ=β0+εˉ−Xˉ(β^1−β1).\begin{aligned} \hat{\beta}_0 &= \beta_0+\beta_1\bar{X}+\bar{\varepsilon} -\hat{\beta}_1\bar{X} \\ &= \beta_0+\bar{\varepsilon} -\bar{X}(\hat{\beta}_1-\beta_1). \end{aligned}

于是

β^0−β0=εˉ−Xˉ∑i=1n(Xi−Xˉ)εiSxx.\hat{\beta}_0-\beta_0 = \bar{\varepsilon} - \bar{X} \frac{ \sum_{i=1}^n (X_i-\bar{X})\varepsilon_i }{ S_{xx} }.

因此,

Var⁡(β^0∣X)=Var⁡[εˉ−Xˉ∑i=1n(Xi−Xˉ)εiSxx|X]=Var⁡(εˉ∣X)+Xˉ2Var⁡[∑i=1n(Xi−Xˉ)εiSxx|X]−2XˉCov⁡[εˉ,∑i=1n(Xi−Xˉ)εiSxx|X].\begin{aligned} \operatorname{Var}(\hat{\beta}_0\mid X) ={}& \operatorname{Var} \left[ \bar{\varepsilon} - \bar{X} \frac{ \sum_{i=1}^n (X_i-\bar{X})\varepsilon_i }{ S_{xx} } \middle|X \right] \\ ={}& \operatorname{Var}(\bar{\varepsilon}\mid X) + \bar{X}^2 \operatorname{Var} \left[ \frac{ \sum_{i=1}^n (X_i-\bar{X})\varepsilon_i }{ S_{xx} } \middle|X \right] \\ &- 2\bar{X} \operatorname{Cov} \left[ \bar{\varepsilon}, \frac{ \sum_{i=1}^n (X_i-\bar{X})\varepsilon_i }{ S_{xx} } \middle|X \right]. \end{aligned}

首先,

Var⁡(εˉ∣X)=Var⁡(1n∑i=1nεi|X)=1n2∑i=1nVar⁡(εi∣X)=σ2n.\begin{aligned} \operatorname{Var}(\bar{\varepsilon}\mid X) &= \operatorname{Var} \left( \frac{1}{n} \sum_{i=1}^n\varepsilon_i \middle|X \right) \\ &= \frac{1}{n^2} \sum_{i=1}^n \operatorname{Var}(\varepsilon_i\mid X) \\ &= \frac{\sigma^2}{n}. \end{aligned}

其次,

Var⁡[∑i=1n(Xi−Xˉ)εiSxx|X]=1Sxx2∑i=1n(Xi−Xˉ)2Var⁡(εi∣X)=σ2∑i=1n(Xi−Xˉ)2Sxx2=σ2Sxx.\begin{aligned} \operatorname{Var} \left[ \frac{ \sum_{i=1}^n (X_i-\bar{X})\varepsilon_i }{ S_{xx} } \middle|X \right] &= \frac{1}{S_{xx}^2} \sum_{i=1}^n (X_i-\bar{X})^2 \operatorname{Var}(\varepsilon_i\mid X) \\ &= \frac{ \sigma^2 \sum_{i=1}^n (X_i-\bar{X})^2 }{ S_{xx}^2 } \\ &= \frac{\sigma^2}{S_{xx}}. \end{aligned}

最后,

Cov⁡[εˉ,∑i=1n(Xi−Xˉ)εiSxx|X]=1nSxx∑i=1n(Xi−Xˉ)Var⁡(εi∣X)=σ2nSxx∑i=1n(Xi−Xˉ)=0,\begin{aligned} \operatorname{Cov} \left[ \bar{\varepsilon}, \frac{ \sum_{i=1}^n (X_i-\bar{X})\varepsilon_i }{ S_{xx} } \middle|X \right] &= \frac{1}{nS_{xx}} \sum_{i=1}^n (X_i-\bar{X}) \operatorname{Var}(\varepsilon_i\mid X) \\ &= \frac{\sigma^2}{nS_{xx}} \sum_{i=1}^n (X_i-\bar{X}) \\ &= 0, \end{aligned}

因为

∑i=1n(Xi−Xˉ)=0.\sum_{i=1}^n(X_i-\bar{X})=0.

综上,

Var⁡(β^0∣X)=σ2(1n+Xˉ2Sxx).\boxed{ \operatorname{Var}(\hat{\beta}_0\mid X) = \sigma^2 \left( \frac{1}{n} + \frac{\bar{X}^2}{S_{xx}} \right) }.

又因为

Sxx=∑i=1nXi2−nXˉ2,S_{xx} = \sum_{i=1}^nX_i^2-n\bar{X}^2,

所以

Sxx+nXˉ2=∑i=1nXi2.S_{xx}+n\bar{X}^2 = \sum_{i=1}^nX_i^2.

于是也可以写成

Var⁡(β^0∣X)=σ2∑i=1nXi2nSxx.\boxed{ \operatorname{Var}(\hat{\beta}_0\mid X) = \sigma^2 \frac{ \sum_{i=1}^nX_i^2 }{ nS_{xx} } }.

由于 σ2\sigma^2 通常未知,可以使用残差方差估计量

σ^2=∑i=1n(Yi−β^0−β^1Xi)2n−2\hat{\sigma}^2 = \frac{ \sum_{i=1}^n \left( Y_i-\hat{\beta}_0-\hat{\beta}_1X_i \right)^2 }{ n-2 }

代替 σ2\sigma^2,从而得到

Var⁡^(β^0)=σ^2(1n+Xˉ2Sxx).\boxed{ \widehat{\operatorname{Var}}(\hat{\beta}_0) = \hat{\sigma}^2 \left( \frac{1}{n} + \frac{\bar{X}^2}{S_{xx}} \right) }.

5. β^0\hat{\beta}_0 与 β^1\hat{\beta}_1 的协方差推导

由

β^0=Yˉ−Xˉβ^1\hat{\beta}_0 = \bar{Y}-\bar{X}\hat{\beta}_1

可得

Cov⁡(β^0,β^1∣X)=Cov⁡(Yˉ−Xˉβ^1,β^1∣X)=Cov⁡(Yˉ,β^1∣X)−XˉVar⁡(β^1∣X).\begin{aligned} \operatorname{Cov} (\hat{\beta}_0,\hat{\beta}_1\mid X) &= \operatorname{Cov} (\bar{Y}-\bar{X}\hat{\beta}_1,\hat{\beta}_1\mid X) \\ &= \operatorname{Cov} (\bar{Y},\hat{\beta}_1\mid X) - \bar{X} \operatorname{Var}(\hat{\beta}_1\mid X). \end{aligned}

由于

Yˉ=β0+β1Xˉ+εˉ,\bar{Y} = \beta_0+\beta_1\bar{X}+\bar{\varepsilon},

因此

Cov⁡(Yˉ,β^1∣X)=Cov⁡(εˉ,β^1∣X).\operatorname{Cov} (\bar{Y},\hat{\beta}_1\mid X) = \operatorname{Cov} (\bar{\varepsilon},\hat{\beta}_1\mid X).

又因为

β^1−β1=∑i=1n(Xi−Xˉ)εiSxx,\hat{\beta}_1-\beta_1 = \frac{ \sum_{i=1}^n (X_i-\bar{X})\varepsilon_i }{ S_{xx} },

所以

Cov⁡(εˉ,β^1∣X)=Cov⁡[1n∑i=1nεi,∑i=1n(Xi−Xˉ)εiSxx|X]=1nSxx∑i=1n(Xi−Xˉ)Var⁡(εi∣X)=σ2nSxx∑i=1n(Xi−Xˉ)=0.\begin{aligned} \operatorname{Cov} (\bar{\varepsilon},\hat{\beta}_1\mid X) &= \operatorname{Cov} \left[ \frac{1}{n}\sum_{i=1}^n\varepsilon_i, \frac{ \sum_{i=1}^n (X_i-\bar{X})\varepsilon_i }{ S_{xx} } \middle|X \right] \\ &= \frac{1}{nS_{xx}} \sum_{i=1}^n (X_i-\bar{X}) \operatorname{Var}(\varepsilon_i\mid X) \\ &= \frac{\sigma^2}{nS_{xx}} \sum_{i=1}^n (X_i-\bar{X}) \\ &= 0. \end{aligned}

另一方面,

Var⁡(β^1∣X)=Var⁡[∑i=1n(Xi−Xˉ)εiSxx|X]=σ2Sxx.\begin{aligned} \operatorname{Var}(\hat{\beta}_1\mid X) &= \operatorname{Var} \left[ \frac{ \sum_{i=1}^n (X_i-\bar{X})\varepsilon_i }{ S_{xx} } \middle|X \right] \\ &= \frac{\sigma^2}{S_{xx}}. \end{aligned}

因此,

Cov⁡(β^0,β^1∣X)=0−Xˉσ2Sxx=−Xˉσ2Sxx.\begin{aligned} \operatorname{Cov} (\hat{\beta}_0,\hat{\beta}_1\mid X) &= 0- \bar{X}\frac{\sigma^2}{S_{xx}} \\ &= -\frac{\bar{X}\sigma^2}{S_{xx}}. \end{aligned}

最终得到

Cov⁡(β^0,β^1∣X)=−Xˉσ2Sxx.\boxed{ \operatorname{Cov} (\hat{\beta}_0,\hat{\beta}_1\mid X) = -\frac{\bar{X}\sigma^2}{S_{xx}} }.

实际计算时,用 σ^2\hat{\sigma}^2 代替 σ2\sigma^2:

Cov⁡^(β^0,β^1)=−Xˉσ^2Sxx.\boxed{ \widehat{\operatorname{Cov}} (\hat{\beta}_0,\hat{\beta}_1) = -\frac{\bar{X}\hat{\sigma}^2}{S_{xx}} }.

如果对解释变量进行中心化,令

Xi∗=Xi−Xˉ,X_i^{*}=X_i-\bar{X},

则

Xˉ∗=0.\bar{X}^{*}=0.

此时,相应的截距估计量与斜率估计量的协方差为

Cov⁡(β^0∗,β^1∣X)=0.\operatorname{Cov} (\hat{\beta}_0^{*},\hat{\beta}_1\mid X) = 0.