Softmax 与概率分布

本节你将能

写出 Softmax，并解释为何蒸馏通常在概率空间对齐。

直觉模型

logits 是「原始分」；Softmax 把分数变成「预算为 1 的选票分布」。

核心要点

• p_i = exp(z_i) / Σ exp(z_j)
• 硬标签是 one-hot；软标签携带类间相似性
• 数值稳定：减 max(logits) 再 exp

import torch.nn.functional as F
probs = F.softmax(logits, dim=-1)

常见误区

对已是概率的输出再 Softmax 一次——分布被扭曲。

动手

用两维 logits 手算 Softmax，再对照 PyTorch。

互动

测验：Softmax 输出和是否为 1。

本节小结

下一节引入温度 T，让分布「软下来」。