Softmax分类器及最优化【黑马python培训】

更新时间:2022年11月16日 15时42分59秒来源:黑马程序员论坛

1，基本内容

将线性分类得到的得分值转化为概率值，进行多分类，在SVM中的输出是得分值，Softmax的输出是概率。

2，Sigmoid函数

表达式（值域为[0,1]）:

函数图像：

Sigmoid函数可将任意实数映射到概率值[0,1]区间上，实现根据概率值的大小进行分类。

3，Softmax的输出

softmax 函数：其输入值是一个向量，向量中元素为任意实数的评分值，输出一个向量，其中每个元素值在0到1之间，且所有元素之和为1（归一化的分类概率：）：

还以上述猫的分类为例进行计算：

幂操作可以将相对大的值映射为更大的值，将负数映射为非常小的数，Li为损失函数值（对正确类别的概率值计算其损失值）

4，SVM和Softmax的损失函数对比

对于hinge loss，当错误类别的得分与正确类别的得分相近时并不能准确的评估模型的效果（损失值接近于0，但模型的分类效果并不好），故不采用此类损失函数。

5，最优化：

输入数据和一组权重参数组合得到一组得分值，最终得到Loss值，这一系列过程称为前向传播过程。通过Loss值更新权重参数，可以有反向传播的算法实现

5.1 梯度下降（以最快的速度到达最低点）

梯度公式：

梯度下降代码实现：

Bachsize（从原始数据中取出一批数据）通常是2的整数倍（32，64，128），考虑计算机的负载量，一般越大越好。step_size为学习率（不易过大）。

训练网络时的LOSS值视化结果：

局部有波动，但整体有向下趋势，说明该网络可取。（epoch是指将整个数据全部处理一遍，一次迭代是指只完成Bachsize大小的数据量处理）

5.2 反向传播
上图为前向传播，反过来由L更新W称为反向传播，举例说明如下：

假设有x，y，z三个样本点，经过一系列操作得到一个损失值f，现在需要分别计算样本点对应的权重参数对f的贡献是多少（求偏导）

链式法则：

比较复杂函数反向传播过程如下：

简化方式：

门单元的含义：

---------------------

推荐了解热门学科

java培训	Python人工智能	Web前端培训	PHP培训
区块链培训	影视制作培训	C++培训	产品经理培训
UI设计培训	新媒体培训	产品经理培训	Linux运维
大数据培训	智能机器人软件开发

传智播客是一家致力于培养高素质软件开发人才的科技公司，“黑马程序员”是传智播客旗下高端IT教育品牌。自“黑马程序员”成立以来，教学研发团队一直致力于打造精品课程资源，不断在产、学、研3个层面创新自己的执教理念与教学方针，并集中“黑马程序员”的优势力量，针对性地出版了计算机系列教材50多册，制作教学视频数+套，发表各类技术文章数百篇。

传智播客从未停止思考

传智播客副总裁毕向东在2019IT培训行业变革大会提到，“传智播客意识到企业的用人需求已经从初级程序员升级到中高级程序员，具备多领域、多行业项目经验的人才成为企业用人的首选。”

中级程序员和初级程序员的差别在哪里?
项目经验。毕向东表示，“中级程序员和初级程序员最大的差别在于中级程序员比初级程序员多了三四年的工作经验，从而多出了更多的项目经验。“为此，传智播客研究院引进曾在知名IT企业如阿里、IBM就职的高级技术专家，集中研发面向中高级程序员的课程，用以满足企业用人需求，尽快补全IT行业所需的人才缺口。

何为中高级程序员课程?

传智播客进行了定义。中高级程序员课程，是在当前主流的初级程序员课程的基础上，增加多领域多行业的含金量项目，从技术的广度和深度上进行拓展。“我们希望用5年的时间，打造上百个高含金量的项目，覆盖主流的32个行业。”传智播客课程研发总监于洋表示。

黑马程序员热门视频教程【点击播放】

Python入门教程完整版（懂中文就能学会）	零起点打开Java世界的大门
C++\| 匠心之作从0到1入门学编程	PHP\|零基础入门开发者编程核心技术
Web前端入门教程_Web前端html+css+JavaScript	软件测试入门到精通

全国中心

Softmax分类器及最优化【黑马python培训】

最新资讯

相关阅读