SGD 和 Adam 的区别

什么是优化算法？

在深入了解这两种算法之前，我们先明确一下什么是优化算法

在训练神经网络时，我们的目标是最小化损失函数（Loss Function）。损失函数衡量了模型预测结果与真实值之间的差距。优化算法就是一种方法，它告诉我们如何调整模型的参数（即权重和偏置），以使损失函数的值越来越小，从而让模型变得越来越准确

可以把优化算法想象成在下山时，如何选择每一步的方向和步长，才能最快地到达山谷（即损失函数的最小值）

1. 随机梯度下降（SGD, Stochastic Gradient Descent）

基本原理

SGD 是最基础、最原始的优化算法。它的“随机”体现在：在每一次迭代中，它随机选择一个样本（或一小批样本，即 Mini-Batch SGD），然后计算这一个（或一小批）样本的损失，并根据这个损失来更新模型的参数

这与传统的批量梯度下降（Batch Gradient Descent）不同，后者会计算所有训练样本的损失来更新一次参数。

优点

• 计算效率高：由于每次只处理一小批样本，计算量大大减少，尤其是在面对海量数据时
• 跳出局部最优：SGD 的“随机性”使得它有机会跳出一些浅的局部最优解，找到更好的全局最优解。

缺点

• 收敛速度慢且不稳定：由于每次的梯度只代表了一小部分数据，更新方向可能会非常“抖动”和不稳定，导致损失函数在下降时像锯齿一样波动
• 需要手动设置学习率：如果学习率（步长）太大，可能无法收敛；如果太小，收敛速度会非常慢。而且，整个训练过程都使用同一个固定的学习率，无法根据参数的重要性进行调整

2. Adam（Adaptive Moment Estimation）

基本原理

Adam 是一种自适应学习率的优化算法。它结合了RMSprop 和 Adagrad 的优点，是目前最常用、效果最好的优化器之一。它的核心思想是：为每个参数都动态地调整学习率

Adam 主要通过计算梯度的一阶矩（均值）和二阶矩（方差）的指数移动平均值来调整学习率

• 一阶矩（mt）：可以看作是梯度的加权平均，它决定了更新方向
• 二阶矩（vt）：可以看作是梯度平方的加权平均，它决定了更新的步长大小

Adam 会根据这些动态计算的矩，为不同的参数提供不同的学习率。对于梯度大的参数，它会减小学习率；对于梯度小的参数，它会增加学习率

优点

• 收敛速度快：由于它能够自适应地调整学习率，Adam 在多数情况下比 SGD 收敛得更快
• 无需手动调优学习率：大多数情况下，使用 Adam 的默认参数就能取得很好的效果，大大简化了调参过程
• 能处理稀疏梯度：对于有稀疏梯度的任务（如自然语言处理），Adam 表现出色

缺点

• 可能会收敛到局部最优：一些研究表明，Adam 在某些特定场景下可能会收敛到比 SGD 差的局部最优解，这是因为它自适应的学习率可能导致它在训练后期学习率过低，无法跳出局部最优