Cross-Entropy-Rechner

原理：交叉熵 H(p,q) = −Σ p_i·log2 q_i，是用分布 q 给真实分布 p 的样本编码所需的平均比特数。它总不小于 H(p)，多出来的部分正是 KL 散度——预测越偏离真实，惩罚越大。

步骤：① 输入真实分布与预测分布；② 点击计算；③ 读出交叉熵、熵与两者的差（KL 散度）。

示例：p = (0.5, 0.5)、q = (0.9, 0.1) 时 H(p,q) = 1.736965594166 比特、H(p) = 1、KL = 0.736965594166 比特；q = p 时交叉熵最小且等于 H(p)。

注意事项：q 的每一项必须大于 0——用零概率预测真实会发生的事件，代价是无穷比特，这也是语言模型要平滑处理未知词的原因；两个输入的项数必须相同且各自归一；机器学习里的交叉熵损失与本公式同源，只是常用自然对数（单位奈特）。

相关：KL 散度计算器单独给出分布差异的非对称度量；困惑度计算器把交叉熵换算成「等效分支数」；信息熵计算器是本工具在 q = p 时的特例。