常用回归模型
以下为《常用回归模型》的无排版文字预览，完整内容请下载
1. 线性回归（Linear Regression）
它是最为人熟知的建模技术之一。线性回归通常是人们在学习预测模型时首选的技术之一。在这种技术中，因变量是连续的，自变量可以是连续的也可以是离散的，回归线的性质是线性的。
线性回归使用最佳的拟合直线（也就是回归线）在因变量（Y）和一个或多个自变量（X）之间建立一种关系。
用一个方程式来表示它，即?Y=a+b*X + e，其中a表示截距，b表示直线的斜率，e是误差项。这个方程可以根据给定的预测变量（s）来预测目标变量的值。
/
一元线性回归和多元线性回归的区别在于，多元线性回归有（>1）个自变量，而一元线性回归通常只有1个自变量。现在的问题是：我们如何得到一个最佳的拟合线呢？
这个问题可以使用最小二乘法轻松地完成。最小二乘法也是用于拟合回归线最常用的方法。对于观测数据，它通过最小化每个数据点到线的垂直偏差平方和来计算最佳拟合线。因为在相加时，偏差先平方，所以正值和负值没有抵消。
/
/
我们可以使用R-square指标来评估模型性能。
要点：
自变量与因变量之间必须有线性关系
多元回归存在多重共线性，自相关性和异方差性
线性回归对异常值非常敏感。它会严重影响回归线，最终影响预测值
多重共线性会增加系数估计值的方差，使得在模型轻微变化下，估计非常敏感。结果就是系数估计值不稳定，在多个自变量的情况下，我们可以使用向前选择法，向后剔除法和逐步筛选法来选择最重要的自变量。
2. 逻辑回归（Logistic Regression）
逻辑回归是用来计算“事件=Success”和“事件=Failure”的概率。当因变量的类型属于二元（1 / 0，真/假，是/否）变量时，我们就应该使用逻辑回归。这里，Y的值从0到1，它可以用下方程表示。
odds= p/ (1-p) = probability of event occurrence / probability of not event occurrence
ln(odds) = ln(p/(1-p))
logit(p) = ln(p/(1-p)) = b0+b1X1+b2X2+b3X3....+bkXk
上述式子中，p表述具有某个特征的概率。你应该会问这样一个问题：我们为什么要在公式中使用对数log呢？
因为在这里我们使用的是的二项分布（因变量），我们需要选择一个对于这个分布最佳的连结函数。它就是Logit函数。在上述方程中，通过观测样本的极大似然估计值来选择参数，而不是最小化平方和误差（如在普通回归使用的）。
/
要点：
它广泛的用于分类问题。
逻辑回归不要求自变量和因变量是线性关系。它可以处理各种类型的关系，因为它对预测的相对风险指数OR使用了一个非线性的log转换。
为了避免过拟合和欠拟合，我们应该包括所有重要的变量。有一个很好的方法来确保这种情况，就是使用逐步筛选方法来估计逻辑回归。它需要大的样本量，因为在样本数量较少的情况下，极大似然估计的效果比普通的最小二乘法差。
自变量不应该相互关联的，即不具有多重共线性。然而，在分析和建模中，我们可以选择包含分类变量相互作用的影响。
如果因变量的值是定序变量，则称它为序逻辑回归
如果因变量是多类的话，则称它为多元逻辑回归
3. 多项式回归（Polynomial Regression）
对于一个回归方程，如果自变量的指数大于1，那么它就是多项式回归方程。如下方程所示：y=a+b*x^2
在这种回归技术中，最佳拟合线不是直线。而是一个用于拟合数据点的曲线。
/
重点：
虽然会有一 内容过长，仅展示头部和尾部部分文字预览，全文请查看图片预览。 所有可能的子模型进行对比（或谨慎选择他们），检查在你的模型中可能出现的偏差。
3. 交叉验证是评估预测模型最好额方法
在这里，将你的数据集分成两份（一份做训练和一份做验证）。使用观测值和预测值之间的一个简单均方差来衡量你的预测精度。
4.?如果你的数据集是多个混合变量，那么你就不应该选择自动模型选择方法，因为你应该不想在同一时间把所有变量放在同一个模型中。
5. 它也将取决于你的目的
可能会出现这样的情况，一个不太强大的模型与具有高度统计学意义的模型相比，更易于实现。
6.?回归正则化方法（Lasso，Ridge和ElasticNet）在高维和数据集变量之间多重共线性情况下运行良好。
[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]请点击下方选择您需要的文档下载。
- JS学习
- 数据库技术与应用 第9章习题参考答案
- 多元元线性回归实验报告2
- 统计学_SPSS_教程
- 计量经济学提纲
- 第7讲 C 中的类、结构体、指针和引用、
- 计量经济学补考重点
- 《计量经济学》第4版习题参考答案(1)
- 简单的线性规划问题（教学设计）
- 多目标规划matlab程序实现
- 脚本程序说明
- VBA学习笔记
- spss课程论文要求
- 七次—九年级—平面直角坐标系和反比例函数—朱某某
- 多元线性回归预测【开题报告】_***131122
- 建行线性规划分析
以上为《常用回归模型》的无排版文字预览，完整内容请下载
常用回归模型由用户“tbjxb2000”分享发布，转载请注明出处