机器学习——线性模型
正文
极大似然估计
作业
1、何为正则化？其功能是什么？如何理解L1和L2正则化？
2、什么是偏差与方差？简要说明偏差、方差与过拟合、欠拟合的关系。
| 现象 | 偏差 | 方差 | 典型原因 | 解决方法 |
|---|---|---|---|---|
| 欠拟合 | 高 | 低 | 模型过于简单（如线性模型拟合非线性数据） | 增加特征、使用更复杂模型、减少正则化 |
| 过拟合 | 低 | 高 | 模型过于复杂（如深度树模型拟合噪声） | 增加数据、正则化、简化模型、早停法 |
3、公式推导：最小二乘法、多元线性回归与岭回归、逻辑回归（极大似然法）
参考文献
“L1和L2正则化”直观理解(之一)，从拉格朗日乘数法角度进行理解_哔哩哔哩_bilibili
超级棒的公式证明，对我帮助很大
https://www.bilibili.com/video/BV1Mh411e7VU?vd_source=bacf29bd4bb51f2ecf08a1ac7c7d8f11&p=3&spm_id_from=333.788.videopod.episodes