导出 ONNX

本节你将能

将学生导出为 ONNX，并用 onnxruntime 做一次核对推理。

直觉模型

ONNX 是「通关文牒」：离开训练框架，去往推理引擎。

核心要点

• torch.onnx.export：动态轴、opset、输入名
• 导出后对比 PyTorch vs ORT 输出误差
• 蒸馏只影响权重，不改变导出流程本质

torch.onnx.export(student, dummy, "student.onnx",
    input_names=["input"], output_names=["logits"], opset_version=17)

常见误区

导出时仍开 train()——BN 统计不一致。

动手

导出并检查 ORT 与 PyTorch 最大绝对误差。

互动

测验：导出前模型应处于什么模式。

本节小结

下一节了解 TensorRT 加速直觉。