Robots.txt 生成器
根据配置生成 robots.txt 文件内容
Robots.txt 生成器
robots.txt 内容
User-agent: * Allow: / Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
Robots.txt 是什么？
robots.txt 是网站根目录下的一个文本文件，用于告诉搜索引擎爬虫哪些页面可以抓取，哪些不可以。 例如可以屏蔽后台管理页、搜索结果页，避免低质量页面占用抓取配额， 也可以配合 sitemap 告诉爬虫网站地图的位置。
常见用途
- 屏蔽无需收录的后台与测试页面
- 指定网站地图地址
- 统一管理各大搜索引擎爬虫的访问规则
使用说明
通过勾选规则生成 robots.txt 内容后，保存为网站根目录下的同名文件即可生效。
规则配置完成后，可以借助站长工具确认爬虫是否正确访问了允许的页面。 规则更新后记得重新上传到网站根目录。