Robots.txt 配置（防爬虫设定）
编辑 Robots.txt 文件是一项高级 SEO 功能，可以提升 SEO 灵活度能力，满足商家个性化 SEO 诉求。
Robots.txt 文件会提醒搜索引擎在其搜索结果中包含或跳过网站的哪些页面。搜索引擎在抓取和索引网站时会检查您的网站的 Robots.txt 文件。如果您想更好地控制对网站的抓取请求，可以编辑您的 Robots.txt 文件。
目录
Robots.txt 适用场景
默认 Robots.txt 文件适用于大多数商店，但对特殊 URL 进行禁止 Google 等搜索引擎蜘蛛抓取的设定场景，需要通过编辑 Robots.txt 文件来实现。这些场景包括：
- 允许或不允许抓取某些 URL。
- 为某些爬虫添加抓取延迟规则。
- 添加额外的站点地图 URL。
- 阻止某些爬虫。
编辑 Robots.txt
如果您想编辑 robots.txt 文件，那么您应该在代码编辑和 SEO 方面具有专业知识。关于 Robots.txt 文件的编写指南，您可以参考：什么 Robots.txt 文件和如何编写 Robots.txt 文件。
您可以在文件中添加或删除指令，操作步骤：
-
在 SHOPLINE admin 中，点击【渠道】>【在线商店】>【偏好设置】。
-
找到【Robots.txt 管理】。
-
点击【前往设置】。
-
即可进入【Robots.txt 编辑器】。
|
备注： 该功能为原【防爬虫设定】功能的优化版，如果您曾在【防爬虫设定】中输入过防爬虫页面，系统会自动在 Robots.txt 文件末尾输出相应的 disallow 文本。 |