14_understanding.md - ppt-master

14_understanding.md

1	论文还往前追问了两个问题。第一,该给哪些权重加 LoRA?在同样的参数预算下,同时适配查询和值这两类权重效果最好,比只堆在单一类型上更划算。第二,秩到底要取多大?这是最反直觉的发现:对查询加值的组合,秩等于一时准确率就有七十三点四,一路加到六十四几乎没有提升。右边的子空间相似度热力图也印证了这一点,不同秩学到的主奇异方向高度重叠,说明权重更新的内在秩确实极低。

1 lines MARKDOWN