Robots.txt 生成器

配置爬虫访问规则，实时校验并测试 URL，生成可直接部署的 robots.txt。

站点地址（可选，完整 URL 测试时必填）快速模板（会替换当前内容）

部署位置：站点根目录 /robots.txt

所有编辑和测试均在浏览器本地完成，不请求目标网站。

规则配置

每组可指定多个爬虫，共享本组规则。专属组不会继承 * 组的规则。

Sitemap（可选，每行一个完整 HTTP(S) URL）可填多个站点地图或地图索引，作用于全部爬虫，也可指向其他域名。

路径区分大小写；* 匹配任意字符，末尾 $ 精确匹配地址结尾（包括查询字符串）。路径中的 # 和空格应分别写为 %23、%20。

下载换行

按当前文本内容，模拟 Google 风格的最长爬虫标识匹配和路径优先级。仅测试规则，不检测服务器响应、索引状态或实际爬虫行为。

文件名必须为小写 robots.txt，以 UTF-8 纯文本放到站点根目录，建议响应 Content-Type: text/plain; charset=utf-8。每个协议、子域名和端口分别生效。
默认允许抓取。空 Disallow 不封禁任何路径；Disallow: / 禁止全站。匹配路径最长的规则生效，长度相同时 Allow 优先，排列顺序不决定优先级。
指定爬虫的多个同名组会合并；存在匹配的专属组时，不再使用通用 * 组。空行和 Sitemap 不会隔开连续的 User-agent。
Crawl-delay 是扩展指令，Google 不支持；Host、Noindex、Request-rate 等不作为本工具的标准配置项。文本模式会保留原始内容并提示兼容性。
禁止抓取不等于禁止收录。需要控制索引时使用 meta robots / X-Robots-Tag，并允许爬虫访问以读取它们。robots.txt 是公开文件，敏感资源应使用身份验证。
模板仅供起步，请按实际路由调整。不要误禁页面渲染依赖的 CSS、JS 和图片。部署后需等待爬虫缓存更新，并在相应搜索引擎平台核实。