10_latency.md - ppt-master

10_latency.md

1	我们用数据来验证"零延迟"这个说法。这张图是 GPT-2 medium 上单次前向的延迟增幅,在 RTX8000 上测了一百次取平均。可以看到,Adapter 的两个变体都会带来延迟:在长序列配置下还比较小,只有百分之二到三;但到了短序列、小批量这种典型的在线场景,Adapter L 增加了百分之二十点七,Adapter H 更是高达百分之三十点三。而 LoRA 因为可以合并权重,和全量微调一样,额外延迟是实打实的零。

1 lines MARKDOWN