深度学习中的标准化
深度学习中的标准化(Normalization)深度网络训练的问题假设网络没有非线性函数,不考虑偏置项,设每层网络层输入为$x^{(k-1)} \in R^{n_{k-1}}$,参数为$W^{(k)}\in R^{n_kn_{k-1}}$,输出为$x^{(k)}\in R^{n_{k-1}}$,每一层的操作是
x^{(k)}=W^{(k)}x^{(k-1)}\\
= W^{(k)}W^{(...
阅读全文…