若手文本工具箱

关键词组合

将多个关键词列表进行组合，适用于长尾关键词扩展、矩阵关键词生成、内容批量创作等场景

• 逻辑：每个列表的所有关键词拼接组合一次，组合条数 = 各列表长度相乘。
• 顺序组合：按列表先后拼接，如 [北京,上海] + [旅游,美食] → 北京旅游、北京美食、上海旅游、上海美食。
• 随机组合：每条内部词序随机打乱，组合条数不变，不固定谁前谁后。最多 4 个列表。

文本分词

对文本/关键词分词，统计词频和词性，适用于关键词分析、关键词分组（为分组提供种子词）等场景。

• 分词：jieba 分词、词性标注、词频统计。
• 不拆分词：将指定词「保护起来」视为整体，如品牌名、专有名词。
• 停用词：剔除「的、是、在、了」等无意义词，不参与词频。
• 过滤：最小字数（如设为 2 则过滤单字）、纯数字、纯字母、标点符号。
• 导出：txt 只有词，csv 含词频词性；种子词可导出/追加到分组工具。5 万行以上多进程。

文本分组

根据配置智能分组，或者根据种子词进行手动分组，适用于关键词分类、用户需求挖掘、内容整理、等场景

• 智能分组：无需种子词。 最小词频：出现 N 次以上的词才当分组用。
• 组合词数：2～3 个词作为分组依据（如 北京+公司、北京+公司+地址）。
• 分组最小词数：每组最少 N 个词，少于则归入「其他」。
• 相似度再分组：对「其他」启用二次分组，阈值越高越严格。
• 手动分组：种子词来自输入或分词导出；
• 只匹配第一个：每个关键词只分配一次；
• 匹配所有：可分配多次。支持十万级、数十万级关键词，多进程。

文本对比

对两份文本（A、B）按行对比，找出「谁在谁里」「谁独有」「共有」「全部」「对称差」等结果，适用于名单核对、版本差异、去重补全等场景

• 7 种模式：A 在 B 中（共同项）、A 不在 B 中（A 独有）、B 在 A 中、B 不在 A 中（B 独有）、交集（完全相同）、并集（合并去重）、对称差（两版差异）。
• 匹配：精确、部分、相似度。
• 可选项：去重、过滤空行、忽略大小写、长度过滤。

文本去重

针对字不一样、意思一样的去重（常规去重只能识别完全相同的字符串）。

支持：

1. 词序不同（苹果香蕉 = 香蕉苹果）
2. 包含关系（旅游哪里好 ≈ 国内旅游哪里好）
3. 重复叠词（苹果苹果香蕉 → 苹果香蕉）
4. 伪长尾（旅游的公司 = 旅游公司）
5. 标点差异（若手 - 软件 = 若手软件）

保留：可选最短 / 最长（核心词 or 长尾词）。

文本排序

数据整理、内容排序

常规：字母、长度、数字（看行里第一个数字）正序/倒序。

特色：行反转（首行变末行）、自定义顺序（填 高,中,低 等，按从左到右排）、数字部分排序（行里所有数字拼成数再排，如 1苹2果3→123）、特殊字符排序（按特殊字符个数）。支持先去重后排序。

字数统计

篇幅评估、用词分析、编码检查。统计：字符、词、行、句、段及编码；字符频率、词频。

相似度计算

查重、改写对比、语义相近判断。两段文本算出一个 0～1 的相似度数值。

• 算法：余弦相似度（用词是否相近）、Jaccard（共有词占比）、Levenshtein 编辑距离（逐字对比，适合短句）。
• 与文本对比的区别：对比按行比对，关心谁多谁少、交并差；相似度关心「有多像、像到什么程度」。