残差连接 (Residual connection)的示意图如下:
即残差链接就是对网络的输出 $F(X)$ 加上了一个 $X$ 成为了 $F(X)+X$,因为加上了一个 $X$ ,在反向传播的时候,求偏导的时候 会多出来一个1,所以避免了梯度消失。
残差连接 (Residual connection)的示意图如下:
即残差链接就是对网络的输出 $F(X)$ 加上了一个 $X$ 成为了 $F(X)+X$,因为加上了一个 $X$ ,在反向传播的时候,求偏导的时候 会多出来一个1,所以避免了梯度消失。