中文分词

中文分词是将连续的中文文本切分为有意义词语的过程，是中文自然语言处理（NLP）的基础步骤。本工具模拟 IK 分词器的效果，在浏览器端实现中文分词。

正向最大匹配算法（FMM）：从文本左端开始，每次尝试匹配词典中最长的词，匹配成功则切分该词并前进，匹配失败则切分单字并前进。算法简单高效，时间复杂度为 O(n * maxLen)。

智能分词模式：采用正向最大匹配，优先切分长词，减少分词粒度，适合大多数场景的分词需求。

最大切分模式：在智能分词基础上，对未命中词典的连续文本进行更细粒度的切分，尽可能穷尽所有可能的词。

内置词典：包含 500+ 个常用中文词语，涵盖国家名称、政治术语、常用名词、动词、形容词、时间词、方位词、量词等多个类别。

IK 分词器：是一款开源的中文分词工具，广泛应用于 Elasticsearch、Lucene 等搜索引擎，支持细粒度和智能两种分词模式。本工具在浏览器端模拟其核心分词逻辑。

词语标注：金色标签表示词典中存在的词，灰色标签表示单字或未在词典中的字符序列。

局限性：浏览器端词典规模有限，无法覆盖所有中文词汇；正向最大匹配算法对歧义切分处理能力有限；未实现词性标注、命名实体识别等高级功能。

应用场景：文本分析、关键词提取、搜索建议、全文检索、情感分析、文本分类、机器翻译预处理等。