• Topic主题TopicTopic
  • Sign in

Robots.txt 配置(防爬虫设定)

 

编辑 Robots.txt 文件是一项高级 SEO 功能,可以提升 SEO 灵活度能力,满足商家个性化 SEO 诉求

Robots.txt 文件会提醒搜索引擎在其搜索结果中包含或跳过网站的哪些页面。搜索引擎在抓取和索引网站时会检查您的网站的 Robots.txt 文件。如果您想更好地控制对网站的抓取请求,可以编辑您的 Robots.txt 文件。

 


 

目录

 


 

Robots.txt 适用场景

默认 Robots.txt 文件适用于大多数商店,但对特殊 URL 进行禁止 Google 等搜索引擎蜘蛛抓取的设定场景,需要通过编辑 Robots.txt 文件来实现。这些场景包括:

  • 允许或不允许抓取某些 URL。
  • 为某些爬虫添加抓取延迟规则。
  • 添加额外的站点地图 URL。
  • 阻止某些爬虫。

 


 

编辑 Robots.txt

如果您想编辑 robots.txt 文件,那么您应该在代码编辑和 SEO 方面具有专业知识。关于 Robots.txt 文件的编写指南,您可以参考:什么 Robots.txt 文件如何编写 Robots.txt 文件

您可以在文件中添加或删除指令,操作步骤:

  1. 在 SHOPLINE admin 中,点击【渠道】>【在线商店】>【偏好设置】。

  2. 找到【Robots.txt 管理】。

  3. 点击【前往设置】。

  4. 即可进入【Robots.txt 编辑器】。

备注:

1. 该功能为防爬虫设定】的优化版,如果您在防爬虫设定中输入过防爬虫页面,系统会自动在 Robots.txt 文件末尾输出相应的 disallow 文本。

2. 该功能正在灰度,目前(2024.1.18)已灰度至70%,预计下周一(1.22)灰度至100%。

 


 

如何联系我们

SHOPLINE 拥有专业的本地支持团队,为有需求和疑惑的商家提供帮助。您可以通过联系 SHOPLINE 店铺后台官方网页的实时客服来寻求 SHOPLINE 的帮助。
*如有 SHOPLINE 功能使用感受或需求建议,快点击【功能反馈】告诉我们吧!

 
Get in touch CN
由 SHOPLINE Lyn 于 上个月 更新
还有其它问题?提交请求

评论