大模型蒸馏(LLM Distillation)方法梳理
调查日期:2026-11-12 · 方法:Desearch API(/web)中英文各检索 1 轮,仅依据搜索结果摘要整理,未逐篇打开原文 · 起因:「看看如何蒸馏大模型」
一、结论(先说答案)
① 蒸馏 = 让大模型(教师)带小模型(学生),在尽量保住效果的前提下压低推理成本。按“能不能拿到教师内部信息”分成白盒、黑盒两条路。
② 教师是闭源 API 时只能走黑盒:用教师生成高质量合成数据(指令、思维链、偏好对),再对学生做 SFT,可接 DPO。教师是开源模型时可走白盒:直接对齐 logits 的分布(KL 散度)。
③ 当前热点是 On-Policy Distillation(OPD):让学生自己生成轨迹,教师在这些轨迹上给 token 级监督,缓解固定数据集与部署时实际历史不一致(exposure bias)的问题,长推理链上尤其明显。
④ 注意许可:用闭源模型输出训练自己的模型,可能违反对方的服务条款,动手前要先读条款。
二、白盒 vs 黑盒
| 维度 | 白盒蒸馏 | 黑盒蒸馏 |
|---|---|---|
| 教师可见范围 | 参数、logits、必要时中间层 | 只有输入与输出文本 |
| 典型教师 | 开源模型 | GPT-4、Claude 等闭源 API |
| 知识载体 | 软标签(带温度的输出分布) | 合成数据 |
| 训练目标 | KL 散度,可加特征匹配 | SFT 交叉熵,可接 DPO |
| 代表方法 | MiniLLM、GKD、DistiLLM-2、ULD、DSKD | Alpaca、LaMini-LM、Orca、Distilling Step-by-Step、PLaD、DeepSeek-R1 蒸馏 |
| 主要限制 | 要求能拿到教师内部信息;词表不同需额外对齐 | 数据质量与多样性决定上限;服务条款风险 |
白盒细分
- 同词表 logit 蒸馏:前向 KL(标准做法)、逆向 KL(MiniLLM)、对称 KL 加对比损失(DistiLLM-2,ICML 2025 Oral)。
- 跨词表 logit 蒸馏:最优传输对齐(ULD、MultiLevelOT)、双空间映射(DSKD / DSKDv2)、解耦分布估计(KDFlow,2026)。
黑盒细分
- 指令跟随蒸馏:Alpaca、LaMini-LM。
- CoT 推理链蒸馏:Orca、DeepSeek-R1 蒸馏出的小模型。
- 偏好对蒸馏:PLaD;SFT 加 DPO 两阶段。
分类来源:知乎《大模型蒸馏》整理帖,属二手归纳,具体方法归属以原论文为准。
三、热点:On-Policy Distillation
- 思路:学生自己采样,教师对学生生成的轨迹打分或给 token 级监督,而不是只学教师预先写好的答案。
- 起点:GKD(Agarwal et al.)与 MiniLLM(Gu et al.),均为 2023 年。
- 成本:Thinking Machines 的博客称,用 Tinker 训练 API 复现了 Qwen3 的结果,在推理基准上达到相当的效果,成本只有 RL 的一小部分。
- 工业采用:综述(arXiv 2604.00626)称 DeepSeek-V4 用纯多教师 OPD 取代了混合 RL 阶段,并称相关论文已超过两百篇。这两点是综述自述,本次未核实。
- 适用条件(综述摘要):词表不一致对同系列蒸馏影响小、对跨系列蒸馏严重;exposure bias 对短序列影响小、对多步推理影响大。
四、怎么选
| 场景 | 建议 |
|---|---|
| 教师是闭源 API | 黑盒:生成数据,再 SFT,可加 DPO |
| 教师开源、词表相同 | 白盒 logit 蒸馏,或直接用 OPD |
| 教师与学生词表不同 | 跨词表方法(ULD、DSKD) |
| 目标是推理能力 | 先做 CoT 蒸馏,再用 OPD 精修 |
| 闭源教师,学生要逼近分布 | 先黑盒蒸到一个开源中间模型,再对学生做白盒蒸馏 |
注:上表除最后一行(先黑盒再白盒,出自知乎帖)外,为整理者归纳的通用做法,非检索结论。
最小流程(黑盒)
以下流程为整理者归纳的通用做法,非检索结论。
1. 准备提示词集合(覆盖目标任务,去重) 2. 用教师批量生成回答(需要推理能力时要求输出完整思维链) 3. 过滤:答案校验、去重、去低质量与拒答样本 4. 对学生做 SFT(可选:再用教师打偏好对做 DPO) 5. 在留出集与目标基准上评测,回到第 1 步补数据
五、来源
- OPD 综述:arxiv.org/abs/2604.00626
- OPD 论文清单:github.com/nick7nlp/Awesome-LLM-On-Policy-Distillation
- Thinking Machines《On-Policy Distillation》:thinkingmachines.ai/blog/on-policy-distillation
- 知乎《大模型蒸馏》分类:zhuanlan.zhihu.com/p/2035321574899847763
- CSDN《详解白盒和黑盒知识蒸馏》:blog.csdn.net/u014297502/article/details/142785806
- CSDN《从 Hinton 到 DeepSeek R1》:blog.csdn.net/qq_73472828/article/details/160751194(“黑盒已成主流”出自此类博客,属观点)
六、核实程度
摘要可互相印证:白盒/黑盒定义、代表方法名称、OPD 起点(GKD、MiniLLM)。
仅单一来源:DeepSeek-V4 采用多教师 OPD、论文数量、Thinking Machines 的成本对比。
非检索结论:「怎么选」表(除最后一行)与「最小流程」为整理者的通用经验归纳。
未做:未打开任何原文全文;未跑代码或复现;未查各方法的具体超参与数据规模。