Robots.txt生成
自定义搜索引擎抓取规则，快速生成robots.txt文件
生成的 robots.txt0 字符
Robots.txt 说明
robots.txt 放置于网站根目录，用于告知搜索引擎哪些页面可以抓取、哪些禁止抓取。
User-agent：指定规则适用的爬虫，* 表示所有搜索引擎。
Disallow：声明禁止抓取的路径，留空表示允许全部，留 / 表示全部禁止。
自定义搜索引擎抓取规则，快速生成robots.txt文件
robots.txt 放置于网站根目录，用于告知搜索引擎哪些页面可以抓取、哪些禁止抓取。
User-agent：指定规则适用的爬虫，* 表示所有搜索引擎。
Disallow：声明禁止抓取的路径，留空表示允许全部，留 / 表示全部禁止。