使用说明
功能说明
按搜索引擎规则生成 robots.txt：可选择针对全部或指定爬虫，填写 Disallow 与 Allow 路径，设置抓取延迟并声明 Sitemap 地址。
使用说明
选择 User-agent、填写禁止与允许路径（一行一个）、填入 Sitemap 后点击生成；可用「一键屏蔽常见目录」快速加入后台、接口、搜索等路径，最后复制或下载 robots.txt 放到网站根目录。
使用场景
新站上线配置抓取规则、屏蔽后台与接口目录、限制爬虫频率、声明站点地图位置。
使用提示
robots.txt 只是抓取建议，无法阻止恶意爬虫；敏感内容请使用登录鉴权或访问控制，不要只依赖 robots。