天才一秒记住【热天中文网】地址：https://www.rtzw.net
“我们需要把靶子焊死在墙上。”
他猛地放下杯子，咖啡溅出来几滴。
“什么?”
正在嘟囔着养细胞经验的程新竹被他吓了一跳。
“我说，我要强制让每一层的数据环境保持稳态!”
林允宁抓起键盘，那种在绝境中找到出口的狂热让他兴奋起来。
不需要复杂的数学推导，只需要一个简单粗暴的工程手段。
不管前一层传过来什么乱七八糟的数据??
我先算出这批数据的均值Mean和方差Variance。
然后，强行减去均值，除以标准差!
x_norm=x-meansqrtvar+eps
把它们强行拉回到均值为0、方差为1的标准正态分布!
但这还不够。
如果强行归一化，可能会破坏数据的特征。
得给它一点自由度。
所以，再引入两个可学习的参数:gamma拉伸和beta偏移。
y=x_norm*gamma+beta
让网络自己去决定需不需要还原，以及还原多少。
这就是??BatchNormalization批归一化。
给每一层神经元，都装上一台“空调”
和“酸碱调节器”
，让它们永远在最舒适的分布环境下工作!
“就是这个!新竹，你真是个天才!”
林允宁转过头，狠狠地拍了拍程新竹的肩膀，“生物稳态!就是这个!”
“啊?我干嘛了?”
程新竹一脸懵逼。
林允宁没有解释，他的手指在键盘上飞舞，将这几行简洁而优美的代码插入到每一个卷积层和激活函数之间。
就像是给每一个神经元都装上了一个微型的“稳态调节器”
。
这是一种从未在教科书上出现过的层结构。
它不属于物理，不属于数学，它属于纯粹的工程直觉，是生物学智慧在计算机领域的投影。
“Run.”
林允宁再次按下了回车键。
轰鸣声再次响起。
这一次，两人的目光都聚焦在那条Loss曲线上。
第一轮迭代Epoch1......Loss2.3。
本章未完，请点击下一章继续阅读！若浏览器显示没有新章节了，请尝试点击右上角↗️或右下角↘️的菜单，退出阅读模式即可，谢谢！