输入
User-agent: * / Disallow: /admin / Sitemap: https://uuup.net/sitemap.xml
输出
robots.txt 文本
SEO / 运营
robots.txt 生成 - 爬虫规则配置工具
按 User-agent、Allow、Disallow 与 Sitemap 等规则生成基础 robots.txt，适合新站上线与搜索引擎抓取策略的初始配置。
robots.txtSEO爬虫
收藏工具
当前还没有选择收藏模式。
快捷操作
你可以复制当前工具页链接，或在支持的设备上调用系统分享。
SEO / 运营
robots.txt 生成器
等待输入
使用场景
- 新站上线时写基础 robots.txt
- 禁止抓取后台或草稿路径
- 在 robots 中声明 Sitemap 地址
如何使用
- 填写 User-agent 与 Allow/Disallow 路径
- 补充 Sitemap 地址
- 复制输出文本
示例输入输出
FAQ
支持多个 Disallow 吗？
支持。可通过多行输入快速生成多条禁止路径规则。
robots.txt 等于访问控制吗？
不等于。它只是对规范爬虫的提示，不能替代鉴权与权限控制。
工具列表
相关推荐
你可以从这里继续打开相近场景的工具，减少重复搜索。