Teacher 推理与软标签

本节你将能

在 torch.no_grad() 下跑教师，正确拿到用于蒸馏的 logits。

直觉模型

教师是「只读百科」：关掉 dropout、不反传，只产出参考分布。

核心要点

• teacher.eval() + torch.no_grad()
• 保存 logits 而非 argmax；需要温度时在损失里再除 T
• 大教师可离线 dump 到磁盘/内存映射

teacher.eval()
with torch.no_grad():
    t_logits = teacher(x)

常见误区

教师仍在 train()——BN/Dropout 行为不一致。

动手

对比 teacher.train()/eval() 下同一 batch 的 KL 差异。

互动

测验：教师前向是否需要梯度。

本节小结

下一节拼完整训练循环。