咨询服务热线:400-123-4567
发布日期:2024-04-22 14:38:23阅读:次
这里主要讲不同常见优化器代码的实现,以及在一个小数据集上做一个简单的比较。
备注:pytorch需要升级到最新版本
其中,SGD和SGDM,还有Adam是pytorch自带的优化器,而RAdam是最近提出的一个说是Adam更强的优化器,但是一般情况下真正的大佬还在用SGDM来做优化器。
导入必要库:
主程序部分:
下图是优化器的对比:
可以看出来,Adam的效果可以说是非常好的。然后SGDM其次,SGDM是大佬们经常会使用的,所以在这里虽然看起来SGDM效果不如Adam,但是依然推荐在项目中,尝试一下SGDM的效果。