06_method.md - ppt-master

06_method.md

1	基于这个假设,方法就非常简洁:冻结原始权重 W 零,在它旁边并联一条低秩旁路。具体说,把权重的更新约束成两个小矩阵的乘积 B 乘 A,前向传播时输入 x 同时经过冻结的 W 和这条旁路,两路输出相加得到 h。训练时 W 零完全不动,只更新 A 和 B 这两个小矩阵。初始化上,A 用高斯随机,B 置零,所以训练一开始旁路的贡献是零,不会扰动原模型。

1 lines MARKDOWN