Cohen Kappa 一致性计算器

Q: κ = 0.49 为什么一致率却有 90%？

因为类别分布极不平衡：绝大多数样本本就容易判断，随机一致率已高达 80%。κ 衡量的是「超出碰运气的那部分一致」，90% 一致在 80% 的基线上只算中等水平。

Q: 机器学习里的 κ 是什么？

同一概念：把真实标签与模型预测看作两位「评分者」，κ 衡量模型超出随机猜测的一致程度。不平衡数据集上比准确率更诚实。

Q: κ 和相关系数有什么区别？

相关衡量共变趋势，κ 衡量分类一致。两位评分者一个普遍比另一个高半档，相关可以很高但 κ 会被系统性偏差拉低——评价「能否互换使用」应看 κ。

Q: κ 多少才算「合格」？

看用途：探索性研究 0.4 可接受；临床测量工具 0.6 起步；用于个体决策（如手术指征）希望 0.8 以上。Landis & Koch 的分级是最常用参照，但它本质是经验约定而非定律——领域惯例更重要，放射学 0.6 算不错，病理金标准则要求更高。

Q: κ 可以是负数吗？

可以，含义是「一致性比随机还差」——两位裁判系统性分歧。这通常不是运气问题，而是对标准的理解相反（比如一人把「疑似」归阳性、另一人归阴性）。负 κ 是排查培训与定义漏洞的警报，处理后重测往往立刻转正。

Q: 为什么不用相关系数代替？

相关系数度量线性共变，不度量「点对点一致」。两名裁判给分完全相关但都差一个等级（一个总严一个总松），r 接近 1 而一致率很低。分类结局的绝对一致性正是 κ 的设计目标；连续评分想测绝对一致用 ICC（组内相关系数）。

Q: κ 悖论怎么破？

组合拳：①报告 Po、Pe、κ 三件套，读者自己判断；②按类别分层报告一致率；③类别极不平衡时换用 Gwet AC1 或阳性/阴性特异一致度（PPA/NPA）。单独一个 κ 数字在不平衡数据下确实会误导，知情使用是关键。

Q: 加权 κ 的权重怎么选？

线性权重（差几档扣几分）适合惩罚与距离成正比的场景；二次权重（距离平方）更宽容小分歧、严惩大分歧，也最常用——它恰好与 ICC 在数学上等价。无序类别（病种）不该加权，相邻才扣分的逻辑没有意义。

Q: 多人评分怎么办？

用 Fleiss κ（Cohen κ 的多评分者推广），它假设每批对象由随机抽取的不同评分者评定。如果每个对象都被全部评分者评过且评分者固定，更精细的选择是 Kendall W 或 ICC(2,k)。报告时注明变体，三种κ不可直接比较。

Q: κ 的结果怎么写进论文？

规范句式：两名评分者的一致率为 85%（Po = 0.85），Cohen κ = 0.67（95% CI: 0.55–0.79），按 Landis & Koch 标准属高度一致。附样本量、类别定义与所用软件。只写「一致性良好（κ = 0.67）」会被要求补充置信区间。

什么是Cohen Kappa 一致性计算器？

两个医生各自诊断同一批病人，一致率 85% 算不算高？要看随机期望：如果两人都倾向于判「健康」，随机一致率可能就有 70%。Cohen κ 把观察一致率扣除随机一致率后再归一化：κ = (Po − Pe)/(1 − Pe)。

κ = 1 完全一致，0 表示一致程度不比随机好，负值表示比随机还差。Landis-Koch 分级：0.0~0.2 轻微、0.2~0.4 尚可、0.4~0.6 中等、0.6~0.8 高度、0.8 以上几乎完美。工具从原始分类序列构建混淆矩阵并计算全套指标。

简单一致率（agreement%）有个致命缺陷：类别越不平衡，蒙对越容易。两位医生都把 90% 的片子判良性，即使毫无默契，一致率也有 0.9² + 0.1² = 82%。Cohen κ 的贡献就是把「凭边际分布瞎猜的一致」（Pe）从总分里扣掉，只留「超出运气的那部分默契」占「最大可提升空间」的比例。

κ 的适用场景远超医学：内容分析的两名编码员、机器标注与人工标注的对齐、心理测评的重测信度、地图分类与实地核查的比对，凡是「两个裁判对同一批对象下分类结论」的场合，κ 都是报告一致性的标准语言。学术论文中只报 agreement% 而不报 κ，审稿人大概率会补刀。

κ 有个著名的「悖论」：一致率相同的两组数据，边际分布越不平衡，κ 越低——明明裁判表现一样，得分却不同。这是因为不平衡数据的 Pe 很高，分母 (1 − Pe) 被压缩。对策是同时报告 Po、Pe 与 κ 三个数，或换用对不平衡更稳健的 AC1 系数（Gwet 提出）。

κ = (Po − Pe)/(1 − Pe)，Pe 由边际比例计算

例：两位医生各自独立诊断 100 张影像（良性/恶性），一致 85 例（Po = 0.85）。边际比例：医生 A 判恶性 40 例、医生 B 判恶性 30 例，Pe = 0.4×0.3 + 0.6×0.7 = 0.54。κ = (0.85 − 0.54)/(1 − 0.54) ≈ 0.674——看起来 85% 的一致率很高，但扣除「两人随手判都能蒙对的部分」后，真实一致性只是「高度」而非「几乎完美」。

Landis & Koch κ 值解释分级（最常用口径）
κ 范围	一致性等级	典型场景
< 0	不如随机	系统性分歧，需排查标准
0 – 0.20	轻微	几乎不可用
0.21 – 0.40	一般	初步研究可接受
0.41 – 0.60	中等	多数研究的及格线
0.61 – 0.80	高度	可靠的测量工具
0.81 – 1.00	几乎完美	金标准级（罕见）

如何使用Cohen Kappa 一致性计算器

1
输入两位评分者对相同样本的分类序列（用空格分隔的标签）
2
点击计算，查看混淆矩阵、观察一致率、随机一致率与 κ

计算示例

例 1两位医生判 10 例

观察一致率 Po = 0.9，随机一致率 Pe ≈ 0.804，κ = (0.9−0.804)/(1−0.804) ≈ 0.4898，属中等一致性。

例 2κ = 0.85 的情形

按 Landis-Koch 标准属于「几乎完美」的一致，常见于标准化程度高的诊断流程。

例 3放射科双读评估

两位放射科医生独立读 200 张胸片，判断「需进一步检查 / 无需」。一致 170 张（Po = 0.85），Pe = 0.52，κ = 0.69——高度一致，双读制度可保留。若 κ 跌破 0.4，科室该做的不是换医生，而是先统一判读标准再测，κ 低下常常是标准模糊而非人不靠谱。

例 4AI 标注质检

训练自动驾驶模型前，两名标注员对 500 张街景标注「有/无行人」。Po = 0.92，Pe = 0.78（行人稀少导致类别不平衡），κ = 0.64。看似 92% 一致很喜人，κ 揭示真实默契只有中等——不平衡数据是 κ 悖论的重灾区，团队补报了分类别的一致率后才敢交付训练。

例 5心理量表重测信度

同一批患者两周内两次做某焦虑筛查量表（阳性/阴性）。Po = 0.88，Pe = 0.56，κ = 0.73。量表的「时间稳定性」达标。注意重测 κ 低于 0.6 的量表不适合追踪个体变化——分数波动里有多少是真病情变化、有多少是测量噪音，根本分不开。

注意事项

类别极度不平衡时 κ 会被拉低（kappa 悖论），高一致率也可能低 κ
有序类别（轻/中/重）应使用加权 κ，对相邻等级误判从轻处理
评分者超过两人时用 Fleiss κ，Cohen κ 只适用两人
标签需一一对应同一批样本，顺序错乱会使结果失效
κ 只适用于分类结局（是/否、良/恶），且类别集合必须完全一致。评分有大小顺序时（轻/中/重）用加权 κ（quadratic 权重最常用），把「差一档」与「差两档」区别对待；评分者是三人以上时换 Fleiss κ。三个变体混用是文献里最常见的统计错误之一。
κ 显著不等于准确度：两个医生可能一致地错（都把良性误判为恶性），κ 很高但诊断质量很差。κ 度量的是「相互之间的一致」，不是「与真相的一致」——评准确度需要金标准对照，那是敏感度特异度的地盘。
样本量与置信区间：κ 的标准误约 √(Po(1−Po)/(n(1−Pe)²))，n = 50 时 κ = 0.6 的 95% CI 可以宽到 0.4–0.8，跨两个等级。小样本的一致性研究只能算探索，正式结论建议 n ≥ 200。

常见问题