模型底层优化(1)——optimizor优化器及梯度截断

深度学习模型训练的过程中，需要通过优化器来更新模型参数以最小化损失函数。梯度优化算法是优化器的一种实现方式，它通过计算损失函数对模型参数的梯度来更新模型参数，使得模型在训练过程中逐渐收敛到最优解。 常见的梯度优化算法包括：随机梯度下降（SGD）、动量法（Momentum）、Adagrad、Adam等。这些算法的主要区别在于如何计算梯度、如何更新模型参数以及如何调整学习率等方面。优化器的选择对深度学习模型的性能和训练速度都有重要影响，需要根据具体任务的特点和数据集的大小等因素进行选择和调试。