蒸馏 vs 剪枝与量化
手段互补，不是互斥
本节你将能
比较蒸馏、剪枝、量化的作用点，并给出「常一起用」的组合直觉。
直觉模型
剪枝删连接，量化降精度，蒸馏迁知识——像减肥、换装备、请家教，可以同时进行。
核心要点
- 剪枝：结构稀疏；量化：int8/int4 等
- 蒸馏：不强制改结构，常与量化/NAS 组合
- 选型：端侧极限体积偏量化+小架构；要保精度时蒸馏很有用
常见误区
以为蒸馏一定比量化更省——部署体积可能差不多，收益在精度保留。
动手
为「手机实时分类」写一版压缩工具链草案。
互动
测验：哪项更直接缩小权重大小（bit）。
本节小结
第一章收官：下一章进入 Softmax、温度与 KL。