05_insight.md - ppt-master

05_insight.md

1	LoRA 的出发点是一个很漂亮的洞察:权重的更新其实是低秩的。已有研究发现,过参数化的大模型实际上存在于一个很低的内在维度上。作者顺着这个思路假设,模型在适配下游任务时,权重的变化量 Delta W 也具有很低的内在秩。这个推论很激进:即使权重的满秩高达一万两千多,实际需要的秩可能只有一或二就够了。

1 lines MARKDOWN