循环神经网络使用反向传播算法进行训练，但它应用于每个时间戳。它通常被称为时间反向传播(BTT)。
反向传播有两个重要问题，例如：
消失梯度
当我们执行反向传播时，梯度往往会变得越来越小，因为我们在网络中不断向后移动。因此，如果我们将前一层的神经元与后一层的神经元进行比较，它的学习速度会非常慢。前一层更有价值，因为它们负责学习和检测简单的模式。它们是网络的构建块。
如果它们提供不正确或不准确的结果，那么我们如何期望下一层和完整的网络能够很好地执行并提供准确的结果。训练过程冗长，模型的预测准确性降低。
爆炸梯度
当大的误差梯度累积时，梯度爆炸是主要问题。它们在训练期间为神经网络模型权重提供了非常大的更新结果。
当更新较小且受控时，梯度下降过程效果最佳。当梯度的大小累积时，很可能会出现不稳定的网络。它可能导致结果预测不佳，甚至导致模型报告无用。