TF-IDF 计算器

TF-IDF（词频-逆文档频率）是信息检索的奠基石：TF（词频）衡量词在本文的重要性——出现越多越重要；IDF（逆文档频率）衡量词的区分度——出现在越少文档中越稀有，IDF = log（总文档数 ÷ 含该词文档数）。两者相乘：「的」「是」TF 高但 IDF≈0（每篇都有），权重归零；「量子纠缠」在一篇物理论文里 TF 适中、IDF 很高，权重登顶——这就是「关键词提取」的数学本质。

它的现代角色：① 搜索引擎的祖师爷——BM25（TF-IDF 的饱和改进版）至今是 Elasticsearch/Lucene 的默认打分器，Google 的神经网络排序也是在 BM25 等地基上盖楼；② SEO 语义优化——分析排名前列文档的高 TF-IDF 词集，检查自己的内容是否覆盖了主题的「必备词汇」（写「咖啡豆」不覆盖「烘焙度」「研磨」「萃取」就是语义缺口）；③ 推荐系统与文本聚类的特征工程。本工具计算给定词在指定文档集合下的 TF、IDF 与 TF-IDF 完整分解。

TF-IDF 的直觉拆解：一个词对本文的重要性 = 本地常见 × 全局稀有。「本地常见」保证它确实是本文在讲的（不是偶然路过），「全局稀有」保证它能区分本文与别的文档（不是万金油）。两个条件缺一不可：「的」满足前者但毁掉后者，自造词满足后者但毁掉前者——乘积结构让两类词都自动退场，留下的正是关键词。

IDF 的对数刻度是对长尾的妥协：不用对数，稀有度差异是线性的（1000 倍 df 差 = 1000 倍权重），头部高频词的 TF 波动会完全淹没稀有词信号；取对数后，df 从 10 到 1000（差 100 倍）IDF 只差 4.6——对数把「数量级」压成「个位数」，让 TF 与 IDF 在同一尺度上对话。底数选 2、e 还是 10 只影响数值尺度，不影响排序。

BM25 是 TF-IDF 的现代延续，改进在两处：① TF 饱和——词出现 3 次与 30 次的差异被压缩（边际收益递减），防止长文档靠重复刷分；② 文档长度归一——长文档天然词多，按平均长度折算公平性。Elasticsearch 与 Lucene 的默认打分器就是 BM25，理解 TF-IDF 就理解了现代搜索排序的地基——神经排序模型也是在这块地基上盖楼。

四个高频应用场景：① 关键词提取——对单文档算所有词的 TF-IDF，取 Top N 就是自动关键词；② 语义 SEO——提取头部页面的高权重词集做覆盖检查，见 关键词密度计算器 的现代用法；③ 文本相似度——文档向量化（每维一个词的 TF-IDF）后算余弦相似度，是聚类与查重的经典特征；④ 推荐系统——把用户历史文档的词向量加权平均，得到兴趣画像。

它的局限同样清晰：TF-IDF 是「字面匹配」——「汽车」与「轿车」在它眼里毫无关系，同义词与一词多义都处理不了；向量语义模型（embedding）把词映射到语义空间，解决的是字面匹配的天花板。但工程现实是两者互补而非替代：字面匹配精确可控、可解释，语义匹配泛化强但不可控——现代搜索系统普遍 BM25 召回 + 向量重排的混合架构。