易百教程

15、为什么零初始化不是一个好的权重初始化过程?

如果网络中的权重集为零,那么每一层的所有神经元将在反向传播期间开始产生相同的输出和相同的梯度。
结果是网络根本无法学习,因为神经元之间没有不对称的来源。这就是为什么需要在权重初始化过程中添加随机性的原因。