概念介绍
输出层
隐藏层
输入层
前馈计算
反向传播算法
https://www.cnblogs.com/charlotte77/p/5629865.html
偏置（截距）
sig(x) = 1 / (1 + e^(-x))
起点到隐藏层权重 反向传播 = 对权重的求导 = 起点的误差 X （前馈函数对边求导=终点的值）
起点的误差 = 2（y1 和真实值的误差=y1(x) - y1）* 激活函数求导
W1,3 ：起点y1 终点 h3
隐藏层到输出层权重 反向传播 = 起点的误差 X 终点的值
起点的误差 = （输入层到隐藏层权重的误差（上一个求的）* 权重）的累加 * 激活函数
W3,2：起点h3 终点 x2
一个节点的偏置 反向传播 = 起点的误差 X 1
更新参数 = 旧参数值 - 学习速率 * 参数的导数
将误差经过对边的求导进行反向传播
激活函数
特点
- 非线性
- 可微性
- 单调性
常见的激活函数
- Sigmoid
- Tanh
- Relu
梯度消失：梯度为零，无法更新参数了
神经元死掉：参数为负值
双曲正切，导数有正有负，就能让多维按照不同的方向走