← 首页

大模型蒸馏(LLM Distillation)方法梳理

调查日期:2026-11-12 · 方法:Desearch API(/web)中英文各检索 1 轮,仅依据搜索结果摘要整理,未逐篇打开原文 · 起因:「看看如何蒸馏大模型」

一、结论(先说答案)

① 蒸馏 = 让大模型(教师)带小模型(学生),在尽量保住效果的前提下压低推理成本。按“能不能拿到教师内部信息”分成白盒、黑盒两条路。

② 教师是闭源 API 时只能走黑盒:用教师生成高质量合成数据(指令、思维链、偏好对),再对学生做 SFT,可接 DPO。教师是开源模型时可走白盒:直接对齐 logits 的分布(KL 散度)。

③ 当前热点是 On-Policy Distillation(OPD):让学生自己生成轨迹,教师在这些轨迹上给 token 级监督,缓解固定数据集与部署时实际历史不一致(exposure bias)的问题,长推理链上尤其明显。

④ 注意许可:用闭源模型输出训练自己的模型,可能违反对方的服务条款,动手前要先读条款。

二、白盒 vs 黑盒

维度白盒蒸馏黑盒蒸馏
教师可见范围参数、logits、必要时中间层只有输入与输出文本
典型教师开源模型GPT-4、Claude 等闭源 API
知识载体软标签(带温度的输出分布)合成数据
训练目标KL 散度,可加特征匹配SFT 交叉熵,可接 DPO
代表方法MiniLLM、GKD、DistiLLM-2、ULD、DSKDAlpaca、LaMini-LM、Orca、Distilling Step-by-Step、PLaD、DeepSeek-R1 蒸馏
主要限制要求能拿到教师内部信息;词表不同需额外对齐数据质量与多样性决定上限;服务条款风险

白盒细分

黑盒细分

分类来源:知乎《大模型蒸馏》整理帖,属二手归纳,具体方法归属以原论文为准。

三、热点:On-Policy Distillation

四、怎么选

场景建议
教师是闭源 API黑盒:生成数据,再 SFT,可加 DPO
教师开源、词表相同白盒 logit 蒸馏,或直接用 OPD
教师与学生词表不同跨词表方法(ULD、DSKD)
目标是推理能力先做 CoT 蒸馏,再用 OPD 精修
闭源教师,学生要逼近分布先黑盒蒸到一个开源中间模型,再对学生做白盒蒸馏

注:上表除最后一行(先黑盒再白盒,出自知乎帖)外,为整理者归纳的通用做法,非检索结论。

最小流程(黑盒)

以下流程为整理者归纳的通用做法,非检索结论。

1. 准备提示词集合(覆盖目标任务,去重)
2. 用教师批量生成回答(需要推理能力时要求输出完整思维链)
3. 过滤:答案校验、去重、去低质量与拒答样本
4. 对学生做 SFT(可选:再用教师打偏好对做 DPO)
5. 在留出集与目标基准上评测,回到第 1 步补数据

五、来源

六、核实程度

摘要可互相印证:白盒/黑盒定义、代表方法名称、OPD 起点(GKD、MiniLLM)。

仅单一来源:DeepSeek-V4 采用多教师 OPD、论文数量、Thinking Machines 的成本对比。

非检索结论:「怎么选」表(除最后一行)与「最小流程」为整理者的通用经验归纳。

未做:未打开任何原文全文;未跑代码或复现;未查各方法的具体超参与数据规模。