文本去重工具

关于文本去重工具

文本去重工具用于去除文本中重复的行，适用于清理数据列表、去除重复的 URL、邮箱地址、关键词等场景。工具支持多种去重选项：大小写敏感/不敏感比较、比较前去除首尾空格、忽略空行、保留首次或最后出现的重复项、对结果进行升序或降序排序。去重后会显示原始行数、唯一行数、被移除的行数及去重率，并列出被移除的重复行及其出现次数。

使用方法：在输入框中粘贴需要去重的文本（每行一条记录），设置去重选项，点击"执行去重"按钮即可。大小写不敏感模式会将所有文本转为小写进行比较，但输出时保留原始大小写。去除首尾空格选项仅在比较时生效，不影响输出内容的原始格式。保留最后出现选项会将重复行的最后一次出现保留在结果中。所有处理均在浏览器本地完成，文本数据不会上传到任何服务器。