SGD（Stochastic Gradient Descent）是一种常用的优算法，特别适用于大规模数据集和深度学习模型的训练。简介最近因为模型训练不稳定的原因，在解决loss震荡不稳定的情况下，有人提出说可以先用adadelta优化器跑下试试看，于是开始了解2、常见优化器3、参考。
AdamW与Adam基本类似，但它的效果一般更好，他做出了一个比较重要的改变，那就是吧weight decay给抽离出来，不让其参加自适应grad和平均梯度的计算，因为weight decay提供的信息与梯度无关，会造成干扰。Momentum:引入动量项，加速SGD收敛并减少震荡Adagrad:自适应学习率，为每个参数维护一个学习率RMSprop:解决Adagrad学习率过度衰减的问题。
1、时光定格
随机梯度下降(Stochastic Gradient Descent, SGD)作为机器学习和深度学习中最常用的优化算法之一，在训练大规模数据集和复杂模型时展现出卓越的性能。该类可实现Adagrad 优化方法(Adaptive Gradient)，Adagrad 是一种自适应优化方法，是自适应的为各个参数分配不同的学习率。
2、闪光的金子
阿里巴巴1688为您优选125条sgd输送机热销货源，包括sgd输送机厂家，品牌，高清大图，论坛热帖。Adagrad：对每个参数维护一个学习率，学习率随着时间的增加而递减。找，逛，买，挑sgd输送机，品质爆款货源批发价，上1688sgd输送机主题频道。
3、sgd兑换人民币
RMSprop修改了求自适应梯度的算法，Adagrad在求梯度时平等的考虑了所有历史的梯度，但是这可能会影响后续的计算所以RMSprop又给加了一个权重，用于削弱太久远的梯度对最近梯度的影响。Adam：结合了Adagrad和RMSprop的优点，对梯度的一阶矩和二阶矩进行估计，并根据这些估计对梯度进行修正。
4、丝瓜的家常做法
Bug_F*cker: 请问AdamW总结因为Adam的学习率自适应的，而L2正则遇到自适应学习率后效果不理想，所以使用adam+权重衰减的方式解决问题。