激活函数用于将非线性引入神经网络，使其可以学习更复杂的函数。如果没有激活函数，神经网络将只能学习函数，这是其输入数据的线性组合。
激活函数将输入转换为输出。激活函数负责决定一个神经元是否应该被激活。它通过计算加权和并进一步添加偏差来做出决定。激活函数的基本目的是将非线性引入神经元的输出。