信息熵计算器

Q: 信息熵计算器 - 信源平均信息量的公式怎么写？

H = −Σ pᵢ·log₂pᵢ。 对数以 2 为底时单位为 bit；取自然对数则单位为 nat，换算 1 nat ≈ 1.443 bit。 在信息熵计算器 - 信源平均信息量计算器中输入参数即可按此公式自动求解，无需手工推导。

Q: 信息熵计算器 - 信源平均信息量的操作步骤是什么？

首先，输入各符号的概率，一行一个，顺序不限。 然后，确认概率之和等于 1，工具会提示误差。 全程在页面内完成，结果即时更新。

什么是信息熵计算器？

香农熵 H = −Σ pᵢ·log₂pᵢ（bit/符号），pᵢ 为第 i 个符号出现的概率，Σpᵢ 必须等于 1。

单个符号的自信息 I = −log₂pᵢ：概率 1/2 的符号带 1 bit，概率 1/8 的带 3 bit，越罕见信息量越大。

等概率 N 个符号时熵取最大值 log₂N；实际熵与最大值之差就是冗余度，可被压缩掉的比例。

H = −Σ pᵢ·log₂pᵢ

对数以 2 为底时单位为 bit；取自然对数则单位为 nat，换算 1 nat ≈ 1.443 bit。

如何使用信息熵计算器

1
输入各符号的概率，一行一个，顺序不限。
2
确认概率之和等于 1，工具会提示误差。
3
点击计算，得到总熵与每个符号的自信息量。
4
对照等概率基准 log₂N，查看冗余度与可压缩空间。

计算示例

例 1四符号信源的熵

概率 0.5/0.25/0.125/0.125 的信源：H = 0.5×1 + 0.25×2 + 0.125×3 + 0.125×3 = 1.75 bit/符号，而等概率四符号上限是 2 bit，冗余度 12.5%。

例 2等概率八符号

八个符号各占 1/8：H = log₂8 = 3 bit/符号，分布最散熵最大，此时任何编码都无法再压缩。

注意事项

概率必须非负且总和为 1，输入 0 的符号自信息按无穷大处理，计算时自动剔除。
熵是平均量，不描述具体编码性能：哈夫曼码平均码长与熵差通常在 0-1 bit 之间。
符号相关性不影响本工具结果；若符号间有依赖，需用条件熵或联合熵分析。
中文文本按字统计的熵约 9-10 bit，英文按字母约 4.1-4.7 bit，按词约 9-12 bit，口径不同不可直接比较。

常见问题

H = −Σ pᵢ·log₂pᵢ。对数以 2 为底时单位为 bit；取自然对数则单位为 nat，换算 1 nat ≈ 1.443 bit。在信息熵计算器 - 信源平均信息量计算器中输入参数即可按此公式自动求解，无需手工推导。

概率必须非负且总和为 1，输入 0 的符号自信息按无穷大处理，计算时自动剔除；熵是平均量，不描述具体编码性能：哈夫曼码平均码长与熵差通常在 0-1 bit 之间。其余细节见页面注意事项一节。

四符号信源的熵：概率 0.5/0.25/0.125/0.125 的信源：H = 0.5×1 + 0.25×2 + 0.125×3 + 0.125×3 = 1.75 bit/符号，而等概率四符号上限是 2 bit，冗余度 12.5%。

首先，输入各符号的概率，一行一个，顺序不限。然后，确认概率之和等于 1，工具会提示误差。全程在页面内完成，结果即时更新。

香农熵 H = −Σ pᵢ·log₂pᵢ（bit/符号），pᵢ 为第 i 个符号出现的概率，Σpᵢ 必须等于 1。

两者同属相关计算链条：汉明距离计算器 - 二进制/字符串差异位在线计算解决的是与之衔接的另一层问题。完成信息熵计算器 - 信源平均信息量计算后，页面底部相关推荐区可直接跳转到汉明距离计算器 - 二进制/字符串差异位在线计算继续演算，参数在同类工具间口径一致，交叉验证更方便。

等概率八符号：八个符号各占 1/8：H = log₂8 = 3 bit/符号，分布最散熵最大，此时任何编码都无法再压缩。

输入各符号的概率。超出合理范围的输入可能导致结果无实际意义，页面注意事项一节标明了边界条件与单位口径。

本页信息熵计算器 - 信源平均信息量计算器与页面内的公式、示例、对照表同源，全部数字由同一套程序实时计算。可用一个已知算例代入验证：先在示例一节找到演算过程，再用相同参数在计算器中复算一遍，两次结果一致即说明口径无误。

计算过程按双精度浮点执行，结果默认保留 4 位有效小数，页面会按数值大小自动切换科学计数法。对照表中的数值与计算器输出完全同源，不存在手工四舍五入引入的偏差。

说明信源完全确定：某个符号概率为 1，其余为 0。接收方不用看就知道内容，信息量为零。

信息量按「二选一判断次数」度量，log₂ 正好给出需要多少个是/非判断；工程上对应二进制位数。

ZIP、PNG 等压缩算法的本质是把平均码长逼近信源熵。熵越大越接近等概率，越难压缩；熵越小冗余越多，压缩收益越高。

用大样本频率估计概率即可，样本越大估计越准；本工具也接受直接输入实测频率归一化后的结果。

参考资料

凯文内容作者Calcton IT编辑组口径审核Calcton 编辑组交叉审核· 内容更新于 2026-05-25

负责 Calcton 的公式核对与内容撰写：每个工具的公式都注明出处，示例数字经过程序复算，健康与判定标准一律采用国际口径。

Calcton IT编辑组：RFC 与官方规范及主流实现的行为口径。

参考来源与更新说明

本页公式与判定标准参考以下权威资料：

最后更新：2026-05-25。

免责声明：本页面提供的计算结果与说明内容仅供参考，不构成医疗、税务、投资或法律等专业建议。尽管我们力求公式与数据准确，仍可能存在误差；据此做出的任何决策，请结合专业机构意见。

什么是信息熵计算器？

如何使用信息熵计算器

计算示例

注意事项

常见问题

参考资料

引用本页

把这个计算器嵌入到你的网站

参考来源与更新说明

什么是信息熵计算器？

如何使用信息熵计算器

计算示例

注意事项

常见问题