带有微分项改进的自适应梯度下降优化算法

作者:葛泉波; 张建朝; 杨秦敏; 李宏
更新时间:

梯度下降算法是一种常用的高山训练优化算法,其性能直接影响网络训练的收敛性。本文主要分析了现有梯度优化算法中存在的超调影响收敛和学习速度自适应的问题,提出了一种带微分项的自适应梯度优化算法,旨在提高网络优化过程的收敛性和收敛速度。首先,针对大型超调量在优化过程中存在的问题,结合传统控制原理,通过对迭代算法进行重新集成,引入微分项,克服了权重更新滞后于实际梯度变化的问题。然后,引入自适应机制来解决学习速度不适应性导致的收敛速度差和收敛速度慢的问题,基于柯西·施瓦茨和杨氏不等式,证明了新算法的最差性能上界(遗憾界)为。最后,在MNIST数据集和CIFAR-10基准数据集上进行了仿真实验,验证了新算法的有效性。结果表明,新算法引入的微分项联合模式和自适应机制可以有效提高梯度下降算法的收敛性能,从而使算法的性能得到明显改善