robots.txt 生成器
在线生成搜索引擎 robots.txt 文件，支持指定 User-agent、禁止/允许路径、Crawl-delay 与 Sitemap 声明。
搜索引擎 User-agent
Crawl-delay（秒，可留空）
Sitemap 地址（一行一个）
禁止抓取路径 Disallow（一行一个）
路径需以 / 开头；写
/ 表示禁止整站。允许抓取路径 Allow（一行一个，可留空）
Allow 优先级高于 Disallow，可用于放开被误屏蔽的目录。
robots.txt 放在网站根目录（如 https://域名/robots.txt）即可生效。它只是抓取建议，不能阻止恶意爬虫，敏感页面请用登录或权限控制。
生成结果