编辑 Robots.txt 文件是一项高级SEO功能，可以提升SEO灵活度能力，满足商家个性化SEO诉求。
Robots.txt 文件告诉搜索引擎在其搜索结果中包含或跳过网站的哪些页面。搜索引擎在抓取和索引网站时会检查您的网站 Robots.txt 文件。
如果您想更好地控制对网站的抓取请求，可以编辑您的Robots.txt 文件。
一、概览
默认 Robots.txt 文件适用于大多数商店，但对特殊URL进行禁止Google等搜索引擎蜘蛛抓取的设定场景，可以通过编辑 Robots.txt文件来实现。这些场景包括：
- 允许或不允许抓取某些 URL
- 为某些爬虫添加抓取延迟规则
- 添加额外的站点地图 URL
- 阻止某些爬虫
二、编辑 Robots.txt
如果您想编辑robots.txt文件，那么您应该在代码编辑和 SEO 方面具有专业知识。关于Robots.txt文件的编写指南，您可以参考：
您可以在文件中添加或删除指令，
操作步骤：
-
在 Shopline 后台中，点击设置 > 在线商店。
-
在在线商店页面中，点击偏好设置。
-
找到Robots.txt管理。
-
点击前往设置。
-
即可进入【Robots.txt编辑器】。
备注：该功能为「防爬虫设定」的优化版，如果您在「防爬虫设定」中输入过防爬虫页面，系统会自动在Robots.txt文件末尾输出相应的disallow文本。
* 如有SHOPLINE功能使用感受或需求建议，快点击【功能反馈】告诉我们吧！
评论