更新时间:2022年12月22日 15时09分07秒 来源:黑马程序员
模型预测的分数y^i在不同的任务中有不同的解释。例如在逻辑回归任务中,
表示模型预测为正例的概率;而在排序学习任务中, 表示排序分。
参数就是我们要从数据中学习得到的内容。模型通常是由一个参数向量决定的函数。例如:线性模型的参数可以表示为:
目标函数通常定义为如下形式:
其中, 是损失函数,用来衡量模型拟合训练数据的好坏程度;
称之为正则项,用来衡量学习到的模型的复杂度。训练集上的损失(Loss)定义为:
常用的损失函数有平方损失(square loss):
logistic 损失:
常用的正则项有L1范数:
常用的正则项有L2范数:
Ridge regression就是指使用平方损失和L2范数正则项的线性回归模型;
Lasso
regression就是指使用平方损失和L1范数正则项的线性回归模型;
逻辑回归(Logistic
regression)指使用logistic损失和L2范数或L1范数正则项的线性模型
目标函数之所以定义为损失函数( )和正则项( )两部分,是为了尽可能平衡模型的偏差和方差(Bias Variance Trade-off)
最小化目标函数意味着同时最小化损失函数和正则项,损失函数最小化表明模型能够较好的拟合训练数据,一般也预示着模型能够较好地拟合真实数据(groud true)
另一方面,对正则项的优化鼓励算法学习到较简单的模型,简单模型一般在测试样本上的预测结果
比较稳定、方差较小(奥坎姆剃刀原则)。也就是说,优化损失函数尽量使模型走出欠拟合的状态,优化正则项尽量使模型避免过拟合。
从概念上区分模型、参数和目标函数给学习算法的工程实现带来了益处,使得机器学习的各个组成部分之间耦合尽量松散。
推荐了解热门学科
java培训 | Python人工智能 | Web前端培训 | PHP培训 |
智能机器人软件开发 | 影视制作培训 | C++培训 | 产品经理培训 |
UI设计培训 | 新媒体培训 | 产品经理培训 | Linux运维 |
大数据培训 |
Python入门教程完整版(懂中文就能学会)【点击】 | 零起点打开Java世界的大门【点击】 |
C++| 匠心之作 从0到1入门学编程【点击】 | PHP|零基础入门开发者编程核心技术【点击】 |
Web前端入门教程_Web前端html+css+JavaScript【点击】 | 软件测试入门到精通【点击】 |