作业 1:参考答案
1. 变量间的统计关系和函数关系是什么?
函数关系
函数关系是一种确定性关系。给定自变量 X 的取值后,因变量 Y 的取值便被唯一确定:
Y=f(X).
例如,半径为 r 的圆,其面积满足
S=πr2.
只要 r 确定,S 就唯一确定。
统计关系
统计关系是一种非确定性关系。给定 X 后,Y 的取值仍然具有随机性,只能描述其条件分布或平均变化规律:
Y=f(X)+ε,
其中,ε 表示其他因素和随机误差造成的扰动。
例如,收入与消费之间通常可以表示为
Y=β0+β1X+ε.
即使收入 X 相同,不同个体的消费 Y 也可能不同。
两者的主要区别如下:
| 关系 | 给定 X 后的 Y | 是否含有随机性 |
|---|
| 函数关系 | 唯一确定 | 否 |
| 统计关系 | 不能唯一确定 | 是 |
2. 回归分析与相关分析的区别与联系是什么?
联系
回归分析与相关分析都用于研究变量之间的统计关系,考察变量是否共同变化以及这种关系的方向和强弱。
在一元线性回归中,样本相关系数 r 与回归斜率估计量 β^1 满足
β^1=rsXsY,
其中,sX 和 sY 分别为 X 与 Y 的样本标准差。
因此,
sgn(β^1)=sgn(r).
在含有截距项的一元线性回归中,决定系数还满足
R2=r2.
区别
| 比较内容 | 相关分析 | 回归分析 |
|---|
| 研究目的 | 衡量变量间线性关系的方向与强度 | 建立变量间的数量关系并进行解释或预测 |
| 变量地位 | 变量地位对称 | 区分解释变量与被解释变量 |
| 主要结果 | 相关系数 r | 回归方程与参数估计 |
| 对称性 | rXY=rYX | Y 对 X 的回归与 X 对 Y 的回归通常不同 |
| 量纲 | 相关系数没有量纲 | 回归系数通常具有量纲 |
| 取值范围 | −1≤r≤1 | 回归系数没有固定的取值范围 |
| 主要用途 | 描述相关程度 | 解释、估计和预测 |
需要注意:
相关关系⇒因果关系.
回归分析本身同样不能自动证明因果关系。因果解释还需要合理的研究设计、理论依据与识别条件。
3. 最小二乘估计量 β^0 与 β^1 的推导
考虑一元线性回归模型
Yi=β0+β1Xi+εi,i=1,2,…,n.
给定样本观测值 (Xi,Yi),第 i 个观测值的残差为
ei=Yi−β0−β1Xi.
最小二乘法通过最小化残差平方和来估计参数:
Q(β0,β1)=i=1∑n(Yi−β0−β1Xi)2.
分别对 β0 和 β1 求偏导:
∂β0∂Q=−2i=1∑n(Yi−β0−β1Xi),
∂β1∂Q=−2i=1∑nXi(Yi−β0−β1Xi).
令两个偏导数均为零,得到正规方程:
i=1∑n(Yi−β^0−β^1Xi)=0,
i=1∑nXi(Yi−β^0−β^1Xi)=0.
由第一个正规方程可得
i=1∑nYi=nβ^0+β^1i=1∑nXi.
两边同时除以 n,得到
Yˉ=β^0+β^1Xˉ.
因此,
β^0=Yˉ−β^1Xˉ.
将其代入第二个正规方程,得到
i=1∑n(Xi−Xˉ)(Yi−Yˉ)=β^1i=1∑n(Xi−Xˉ)2.
记
Sxx=i=1∑n(Xi−Xˉ)2,
Sxy=i=1∑n(Xi−Xˉ)(Yi−Yˉ),
则斜率的最小二乘估计量为
β^1=SxxSxy=∑i=1n(Xi−Xˉ)2∑i=1n(Xi−Xˉ)(Yi−Yˉ).
截距的最小二乘估计量为
β^0=Yˉ−β^1Xˉ.
因此,样本回归方程为
Y^i=β^0+β^1Xi.
4. β^0 的方差推导
假设经典线性回归模型满足
E(εi∣X)=0,
Var(εi∣X)=σ2,
Cov(εi,εj∣X)=0,i=j.
由模型
Yi=β0+β1Xi+εi
可得
Yˉ=β0+β1Xˉ+εˉ,
其中
εˉ=n1i=1∑nεi.
斜率估计量可以写为
β^1=Sxx∑i=1n(Xi−Xˉ)Yi.
将
Yi=β0+β1Xi+εi
代入上式,得到
β^1=Sxx∑i=1n(Xi−Xˉ)(β0+β1Xi+εi)=β1+Sxx∑i=1n(Xi−Xˉ)εi.
因此,
β^1−β1=Sxx∑i=1n(Xi−Xˉ)εi.
又因为
β^0=Yˉ−β^1Xˉ,
所以
β^0=β0+β1Xˉ+εˉ−β^1Xˉ=β0+εˉ−Xˉ(β^1−β1).
于是
β^0−β0=εˉ−XˉSxx∑i=1n(Xi−Xˉ)εi.
因此,
Var(β^0∣X)==Var[εˉ−XˉSxx∑i=1n(Xi−Xˉ)εiX]Var(εˉ∣X)+Xˉ2Var[Sxx∑i=1n(Xi−Xˉ)εiX]−2XˉCov[εˉ,Sxx∑i=1n(Xi−Xˉ)εiX].
首先,
Var(εˉ∣X)=Var(n1i=1∑nεiX)=n21i=1∑nVar(εi∣X)=nσ2.
其次,
Var[Sxx∑i=1n(Xi−Xˉ)εiX]=Sxx21i=1∑n(Xi−Xˉ)2Var(εi∣X)=Sxx2σ2∑i=1n(Xi−Xˉ)2=Sxxσ2.
最后,
Cov[εˉ,Sxx∑i=1n(Xi−Xˉ)εiX]=nSxx1i=1∑n(Xi−Xˉ)Var(εi∣X)=nSxxσ2i=1∑n(Xi−Xˉ)=0,
因为
i=1∑n(Xi−Xˉ)=0.
综上,
Var(β^0∣X)=σ2(n1+SxxXˉ2).
又因为
Sxx=i=1∑nXi2−nXˉ2,
所以
Sxx+nXˉ2=i=1∑nXi2.
于是也可以写成
Var(β^0∣X)=σ2nSxx∑i=1nXi2.
由于 σ2 通常未知,可以使用残差方差估计量
σ^2=n−2∑i=1n(Yi−β^0−β^1Xi)2
代替 σ2,从而得到
Var(β^0)=σ^2(n1+SxxXˉ2).
5. β^0 与 β^1 的协方差推导
由
β^0=Yˉ−Xˉβ^1
可得
Cov(β^0,β^1∣X)=Cov(Yˉ−Xˉβ^1,β^1∣X)=Cov(Yˉ,β^1∣X)−XˉVar(β^1∣X).
由于
Yˉ=β0+β1Xˉ+εˉ,
因此
Cov(Yˉ,β^1∣X)=Cov(εˉ,β^1∣X).
又因为
β^1−β1=Sxx∑i=1n(Xi−Xˉ)εi,
所以
Cov(εˉ,β^1∣X)=Cov[n1i=1∑nεi,Sxx∑i=1n(Xi−Xˉ)εiX]=nSxx1i=1∑n(Xi−Xˉ)Var(εi∣X)=nSxxσ2i=1∑n(Xi−Xˉ)=0.
另一方面,
Var(β^1∣X)=Var[Sxx∑i=1n(Xi−Xˉ)εiX]=Sxxσ2.
因此,
Cov(β^0,β^1∣X)=0−XˉSxxσ2=−SxxXˉσ2.
最终得到
Cov(β^0,β^1∣X)=−SxxXˉσ2.
实际计算时,用 σ^2 代替 σ2:
Cov(β^0,β^1)=−SxxXˉσ^2.
如果对解释变量进行中心化,令
Xi∗=Xi−Xˉ,
则
Xˉ∗=0.
此时,相应的截距估计量与斜率估计量的协方差为
Cov(β^0∗,β^1∣X)=0.