商学院-陈军-统计学.pdf

《统计学》课程教案（“课程思政”版） 第十章 多元线性回归 教学 章节 10.1 多元线性回归模型 10.2 拟合优度和显著性检验 10.3 多重共线性及其处理 10.4 利用回归方程进行预测 10.5 哑变量回归 教学 目的 通过本章学习，应注意多元回归中可能存在的多重共线性问题；掌握变量选择的意义及逐步回 归的应用；能熟练使用 Excel 和 SPSS 进行回归，并对结果做出合理解释。 主要 内容 10.1 节：回归模型与回归方程；参数的最小二乘估计 10.2 节：模型的拟合优度；.显著性检验 10.3 节：多重共线性及其识别；变量选择及逐步回归 10.4 节：利用回归方程进行预测 10.5 节：在模型中引进哑变量；含有一个哑变量的回归 学习 要点 10.1 节：▲概念：多元线性回归模型，估计的多元线性回归方程 ▲回归模型的基本假定 ▲偏回归系数的意义 ▲参数的最小二乘估计 ▲用 EXCEL 进行回归 10.2 节：▲概念：多重决定系数，调整的多重决定系数，多重相关系数 ▲多重决定系数的解释 ▲估计标准误差的解释 ▲线性关系检验的步骤 ▲回归系数检验的步骤 ▲线性关系检验与回归系数检验的区别 ▲回归系数的推断 10.3 节：▲概念：多重共线性 ▲多重共线性对回归模型的影响 ▲多重共线性的判别 ▲多重共线性的处理 ▲变量选择的意义 ▲向前选择的基本思想 ▲向后剔除的基本思想 ▲逐步回归的原理和应用 ▲用 SPSS 进行逐步回归 10.4 节：▲用 SPSS 进行预测 10.5 节：▲概念：哑变量 ▲引进哑变量的方法 ▲含有哑变量回归方程的解释 直接讲陈法、示例法、提问，启示法。 教学 方法 教具 教学 过程 1.导入新课 黑板 幻灯片 2.讲授新课 3.总结及布置练习 导入新课： 身高受那些因素影响？  决定身高的因素是什么？父母遗传、生活环境、体育锻炼，还是以上各因素的共同作用  2004 年 12 月，中国人民大学国民经济管理系 02 级的两位学生，对人大在校生进行了问卷 调查。问卷采取随机发放、当面提问当场收回  调查的样本量为 98 人，男性 55 人，女性 43 人。调查内容包括被调查者的身高(单位：cm)、 性别、其父母身高、是否经常参加体育锻炼、家庭所在地是在南方还是在北方等等。部分 数据如教材中的表所示(1 代表男性，0 代表女性)  父亲身高、母亲身高、性别是不是影响子女身高的主要因素呢？如果是，子女身高与这些 因素之间能否建立一个线性关系方程，并根据这一方程对身高做出预测？  这就是本章将要讨论的多元线性回归问题 教 第 10 章 多元线性回归 10.1 多元线性回归模型 10.1.1 回归模型与回归方程 10.1.2 参数的最小二乘估计 学 过 10.1.1 回归模型与回归方程 多元回归模型 1. 一个因变量与两个及两个以上自变量的回归 2. 描述因变量 y 如何依赖于自变量 x1 ， x2 ，…， xk 和误差项  的方程，称为多元回 归模型 3. 涉及 k 个自变量的多元线性回归模型可表示为 y   00   11 x11   22 x 22     kk x kk   程     b0 ，b1，b2 ，，bk 是参数  是被称为误差项的随机变量 y 是 x1,，x2 ， ，xk 的线性函数加上误差项  包含在 y 里面但不能被 k 个自变量的线性关系所解释的变异性 多元回归模型(基本假定) 1. 正态性。误差项 ε 是一个服从正态分布的随机变量，且期望值为 0，即 ε~N(0,2) 2. 方差齐性。对于自变量 x1，x2，…，xk 的所有值， 的方差 2 都相同 3. 独立性。对于自变量 x1，x2，…，xk 的一组特定值，它所对应的与任意一组其他值所对应 的不相关 多元线性回归方程 (multiple linear regression equation) 1. 描述因变量 y 的平均值或期望值如何依赖于自变量 x1， x2 ，…，xk 的方程 2. 多元线性回归方程的形式为 E( y ) = 0+ 1 x1 +  2 x2 +…+ k xk  b1，b2，，bk 称为偏回归系数  bi 表示假定其他变量不变，当 xi 每变动一个单位时，y 的平均变动值 -2- 据 此 来 分 析 教 材 体 系 估计的多元线性回归的方程(estimated multiple linear regression equation) 1.用样本统计量估计回归方程中的参数时得到的方程 2.由最小二乘法求得 3.一般形式为 yˆ  ˆ 0  ˆ1 x1  ˆ 2 x 2    ˆ k x k ˆ 0 , ˆ1 , ˆ 2 ,  , ˆ k 是  0 ,  1 ,  2 ,  ,  k 的估计值 ŷ 是 y 的估计值. 10.1.2 参数的最小二乘估计 1. 使因变量的观察值与估计值之间的离差平方和达到最小来求得 ˆ 0 , ˆ1 , ˆ 2 ,  , ˆ k 2. 求解各回归参数的标准方程如下  Q    0   Q   i   0 0 ˆ  0  0 i ˆ  (i  1， 2， ，k ) i 例题分析 【例 10-1】一家商业银行在多个地区设有分行，其业务主要是进行基础设施建设、国 家重点项目建设、固定资产投资等项目的贷款。近年来，该银行的贷款额平稳增长， 但不良贷款额也有较大比例的提高，这给银行业务的发展带来较大压力。为弄清楚不 良贷款形成的原因，希望利用银行业务的有关数据做些定量分析，以便找出控制不良 贷款的办法。试建立不良贷款 y 与贷款余额 x1、累计应收贷款 x2、贷款项目个数 x3 和 固定资产投资额 x4 的线性回归方程，并解释各回归系数的含义 -3- -4- 10.2 拟合优度和显著性检验 10.2.1 模型的拟合优度 多重决定系数(multiple coefficient of determination) 1. 回归平方和占总平方和的比例 2. 计算公式为 3. 因变量取值的变差中，能被估计的多元回归方程所解释的比例 调整的多重决定系数(adjusted multiple coefficient of determination) 1. 用样本量 n 和自变量的个数 k 去调整 R2 得到 2. 计算公式为 3. 避免增加自变量而高估 R2 4. 意义与 R2 类似 5. 数值小于 R2 多重相关系数(multiple correlation coefficient) 1. 多重决定系数的平方根 R 2. 反映因变量 y 与 k 个自变量之间的相关程度 3. 实际上 R 度量的是因变量的观测值 y 与由多元回归方程得到的预测值之间的关系强度，即多 重相关系数 R 等于因变量的观测值与估计值之间的简单相关系数即 R  R2  ryy ˆ (一元相关系数 r 也是如此，即 rxy  ryy ˆ 。 读者自己去验证) 估计标准误差 Se 1. 对误差项的标准差 的一个估计值 2. 衡量多元回归方程的拟合优度 3. 计算公式为 10.2.2 显著性检验 导入：中华传统文化成语故事：滥竽充数 出处： 《韩非子·内储说上》 ： “齐宣王使人吹竽，必三百人。南郭处士请为王吹竽，宣王说 -5- 之，廪食以数百人。宣王死，愍王立。好一一听之，处士逃。” 寓意： 滥竽充数的故事告诉人们： （1）弄虚作假是经不住时间的考验，终究会露 出马脚的，一个人如果像不会吹竽的南郭先生那样，没有真本事，只靠装样子糊弄人， 在别人还不了解真相的时候，能够蒙混一阵子，但是总有真相大白的一天； （2）讽刺 那些虚荣，对人不加以鉴别而重用的掌权者。 线性关系检验 1. 检验因变量与所有自变量之间的线性关系是否显著 2. 也被称为总体的显著性检验 3. 检验方法是将回归均方(MSR)同残差均方(MSE)加以比较，应用 F 检验来分析二者之间的差别 是否显著  如果是显著的，因变量与自变量之间存在线性关系  如果不显著，因变量与自变量之间不存在线性关系 线性关系检验：合奏效果（不找南郭先生） 线性关系检验可借助滥竽充数这个成语故事理解： （1）线性关系显著相当于合奏乐队只要有一个乐师会吹奏，其他人即便不会吹奏，只 要装模做样就行，也能骗过齐宣王。 （2）线性关系不显著相当于合奏乐队没有一个乐师会吹奏（这种情形概率非常低） 回归系数的检验 1. 线性关系检验通过后，对各个回归系数有选择地进行一次或多次检验 2. 究竟要对哪几个回归系数进行检验，通常需要在建立模型之前作出决定 3. 对回归系数检验的个数进行限制，以避免犯过多的第Ⅰ类错误(弃真错误) 4. 对每一个自变量都要单独进行检验 5. 应用 t 检验统计量 回归系数检验：独奏效果（找出南郭先生） 回归系数检验亦可借助滥竽充数这个成语故事理解： （1）回归系数检验显著相当于齐愍王让乐师一个一个独奏，会吹奏的通过。 （2）回归系数检验不显著相当于不会吹奏的在一个一个独奏的过程中，自然暴露出来。 回归系数的推断 (置信区间) 回归系数在(1-)%置信水平下的置信区间为 ˆ i  t  2 ( n  k  1) s ˆ 其中 10.3 多重共线性及其处理 10.3.1 多重共线性及其识别 多重共线性(multicollinearity) 1. 回归模型中两个或两个以上的自变量彼此相关 -6- i 2. 多重共线性带来的问题有  可能会使回归的结果造成混乱，甚至会把分析引入歧途  可能对参数估计值的正负号产生影响，特别是各回归系数的正负号有可能同预期的正 负号相反 多重共线性的识别 1. 检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系 数进行显著性检验 2. 若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性  如果出现下列情况，暗示存在多重共线性  模型中各对自变量之间显著相关  当模型的线性关系检验(F 检验)显著时，几乎所有回归系数的 t 检验却不显著  回归系数的正负号与预期的相反  容忍度(tolerance)与方差扩大因子(variance inflation factor，VIF)。 • 某个自变量的容忍度等于 1 减去该自变量为因变量而其他 k-1 个自变量为预测 变量时所得到的线性回归模型的判定系数，即 1-Ri2。容忍度越小，多重共线性 越严重。通常认为容忍度小于 0.1 时，存在严重的多重共线性 • 方差扩大因子等于容忍度的倒数。显然，VIF 越大多重共线性就越严重。一般 要求 VIF 小于 5，也可放宽到小于 10。如果大于 10 则认为存在严重的多重共 线性。 相关矩阵及其检验(SPSS ) 多重共线性的处理 1. 将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关 2. 如果要在模型中保留所有的自变量，则应  避免根据 t 统计量对单个参数进行检验  对因变量值的推断(估计或预测)的限定在自变量样本值的范围内 -7- 提 示 1. 在建立多元线性回归模型时，不要试图引入更多的自变量，除非确实有必要 2. 在社会科学的研究中，由于所使用的大多数数据都是非试验性质的，因此，在某些情况下，得 到的结果往往并不令人满意，但这不一定是选择的模型不合适，而是数据的质量不好，或者是 由于引入的自变量不合适 奥克姆剃刀(Occam’s Razor) 1. 模型选择可遵循奥克姆剃刀的基本原理  最好的科学模型往往最简单，且能解释所观察到的实事 2. 对于线性模型来说，奥克姆剃刀可表示成简约原则  一个模型应包括拟合数据所必需的最少变量 3. 如果一个模型只包含数据拟合所必需的变量，这个模型就称为简约模型(parsimonious model)  实际中的许多多元回归模型都是对简约模型的扩展 10.3.2 变量选择与逐步回归 变量选择过程 1. 在建立回归模型时，对自变量进行筛选 2. 选择自变量的原则是对统计量进行显著性检验  将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和(SSE)有显著地 减少。如果增加一个自变量使 SSE 的减少是显著的，则说明有必要将这个自变量引入 回归模型，否则，就没有必要将这个自变量引入回归模型  确定引入自变量是否使 SSE 有显著减少的方法，就是使用 F 统计量的值作为一个标准， 以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量 3. 变量选择的方法主要有：向前选择、向后剔除、逐步回归、最优子集等 向前选择 (forward selection) 1. 从模型中没有自变量开始 2. 对 k 个自变量分别拟合对因变量的一元线性回归模型，共有 k 个，然后找出 F 统计量的值最高 的模型及其自变量(P 值最小的)，并将其首先引入模型 3. 分别拟合引入模型外的 k-1 个自变量的二元线性回归模型 4. 如此反复进行，直至模型外的自变量均无统计显著性为止 向后剔除 (backward elimination) 1. 先对因变量拟合包括所有 k 个自变量的回归模型。然后考察 p(p