三层全连接神经网络反向传播算法的数学推导

设一3层全连接神经网络，n、m、q分别为输入层、隐层、输出层的神经元个数。

w_ij为第i个输入层神经元与第j个隐层神经元之间的权值。

w_jk为第j个隐层神经元与第k个输出层神经元之间的权值。

f为激活函数。

现有P个训练样本，第p个样本的标签值为d^p_k，x_i为第i个输入维度。

第j个隐层神经元的输出为h^o_j。则有：

定义hⁱ_j：hⁱ_j=∑（i=1,m,w_ijx_i）；

（注，为了排版方便，∑求和符号的上下界，放在括号里表示，括号里的第一个参数i=1表示求和的下界，第二参数表示求和的上界，第三个参数w_ijx_i为遍历处理逻辑）。

根据激活函数的定义可得：h^o_j=f(hⁱ_j)。

第k个输出层的神经为y^k_p。

定义z^p_k：z^p_k=∑（j=1,m，w_jkh^o_j）；

根据激活函数的定义可得：y^p_k=f(z^p_k)。

定义预测值与标签值之间的误差为：E^p=（1/2）∑（k=1,q,(y^p_k-d^p_k）²)。

根据梯度下降，w_jk的修正值为△w_jk。

1. 全连接BP算法

2. CNN卷积网络

3. 对抗学习网络

4. 循环神经网络

5. 非监督学习网络
   

6. 深度学习