2025-02-23 深度学习中的数学：香农熵、交叉熵、KL散度 DeepSeek-R1最近刷屏全网，与之相随的是有关大模型强化学习的学习热潮。在大模型的强化学习中，有一个概念经常被提及——KL散度。正好最近复习了一下香农熵、交叉熵、KL散度的概念，将他们串在一起将更有利于理解KL散度。 信息量：小概率事件的信息量更大。用-log可以表示这层关系。 熵（香农熵）：