在您的 SHOPLINE 店铺中管理 LLMS.txt(AI 爬虫)
LLMS.txt 的作用类似 robots.txt,但面向的是 AI 爬虫与助手(如 ChatGPT、Claude、Gemini、Perplexity、Copilot)。它用于告知这些 AI 工具哪些内容可以读取、总结或索引,哪些内容禁止使用。
由于目前暂不支持将文件直接上传到站点根目录,推荐的做法是:
- 将 LLMS.txt 上传到文件库;
- 在站点根路径为 /llms.txt 创建 301 重定向,指向该文件的公开链接。
请按照本指南正确配置您的 LLMS.txt 文件,确保 AI 爬虫依据您的偏好与商店内容互动。
LLMS.txt 是什么
LLMS.txt 是一个用于声明店铺与 AI 工具交互策略的纯文本文件,可以把它理解为面向 AI 的 robots.txt(后者用于搜索引擎)。通过该文件,您可以明确哪些页面或栏目允许 AI 爬虫与助手(如 OpenAI/ChatGPT 的 GPTBot、Anthropic 的 ClaudeBot、PerplexityBot)读取与总结,以及哪些敏感或私密区域(例如结账、账户或后台)必须禁止访问或使用。LLMS.txt 与 SEO 设置协同工作,并不替代 robots.txt;管理搜索引擎行为请使用 robots.txt,而指导 AI 工具访问与使用规则则通过 LLMS.txt 来实现。
| 备注:如需了解如何设置 robots.txt,请参阅《 robots.txt 配置(防爬虫设定)》。 |
LLMS.txt 与 robots.txt 的区别
| 主题 | LLMS.txt | robots.txt |
| 面向对象 | AI 爬虫与助手(LLMs) | 搜索引擎爬虫 |
| 主要目的 | 控制 AI 工具的读取、总结、训练使用权限 | 控制搜索引擎的抓取与索引 |
| 提供方式 | 通过根路径 /llms.txt 的 301 指向文件库公开链接(当前阶段的替代方案) | 原生提供 /robots.txt |
| 常见规则 | 屏蔽结账、账户、后台等敏感流程 | 以 SEO 为导向的允许、禁止模式 |
| 关系 | 互补但相互独立:用于管控 AI 爬虫与助手;此处变更不会影响搜索引擎索引。 | 互补但相互独立:用于管控搜索引擎爬虫;不适用于 AI 爬虫。 |
通过 301 重定向发布 LLMS.txt
开始前准备
你需要:
- SHOPLINE 店铺的管理员权限
- 向文件库上传权限
- 创建 301 URL 重定向的权限
将 LLMS.txt 上传到文件库
- 在 SHOPLINE admin 后台,前往设置 > 文件库,点击右上角的上传文件按钮。
- 在弹出窗口中,选择要上传的 llms.txt 文件;你也可以将其拖放到上传区域。
- 点击llms.txt 文件右侧的复制图标,即可自动复制该资源的链接,顶部将显示复制成功。
| 备注:若想进一步了解如何将本地资源上传到文件库,请参阅《上传本地素材到文件库》。 |
创建 301 URL 重定向
- 从 SHOPLINE admin 后台,前往设置 > 域名。在 301 重定向区域点击管理重定向。
- 点击右上角添加重定向。
- 在弹出窗口中填写以下字段并点击添加保存:
- 重定向自 :输入 LLMS.txt 的文件名路径,即 /llms.txt。
- 重定向至:从文件库复制并粘贴该 LLMS.txt 文件的链接。
| 备注:若想进一步了解如何创建与管理 301 URL 重定向,请参阅《URL 301重定向》。 |
测试你的 301 重定向设置
- 打开浏览器,输入你的 SHOPLINE 店铺网址(例如:https://abc.myshopline.com),然后在末尾追加 /llms.txt(即:https://abc.myshopline.com/llms.txt)。
- 你应当能直接看到 LLMS.txt 的文本内容(而不是 404,也不是下载)。
- 如遇到缓存导致的显示异常,请强制刷新浏览器或在无痕模式下重试。
使用与理解 LLMS.txt 模板
LLMS.txt 模板
你可以使用以下由 SHOPLINE 提供的 LLMS.txt 模板。将其复制到一个纯文本文件中,然后按照上文的通过 301 重定向发布 LLMS.txt 步骤完成设置。
# We use SHOPLINE as our e-commerce platform.
# Public product, blog, and FAQ content may be accessed for summarization or question answering only.
# Do not use our content for model training or dataset creation.
User-Agent: *
Disallow: /admin
Disallow: /checkouts
Disallow: /cart
Disallow: /orders
Disallow: /trade
Disallow: /checkout
Disallow: /invoices
Disallow: /payment_methods
Disallow: /search
Disallow: /products/search
Disallow: /user
Disallow: /transit_page
Disallow: /api/
Disallow: /preview
Disallow: /apple-app-site-association
Policy: allow-output, disallow-training, disallow-derivative-works
LLMS.txt 的规则与格式说明
本节将帮助你阅读并自定义 LLMS.txt 模板。你将了解 User-agent、Allow 与 Disallow 的含义,以及路径是如何匹配的。
文件基础
- 编码与名称: 纯文本(UTF-8),通常命名为 llms.txt。
- 注释: 以 # 开头的行会被爬虫忽略(适合写备注)。
- 单行单指令: 规则尽量简短,每行仅写一条指令。
- 仅使用路径: 规则使用路径(以 / 开头),而不是完整域名。
核心指令
-
User-agent: 指定该规则适用的爬虫(例如:OpenAI/ChatGPT 的 GPTBot、Anthropic 的 ClaudeBot、PerplexityBot)。
备注: User-Agent: * 表示「所有 AI 爬虫」。 - Allow: 显式允许某个路径或区域。
-
Disallow: 阻止某个路径或区域。
备注:当 Disallow 为空时,表示「全部允许」。
最佳实践
建议
- 保持规则简短、每行一条,并按章节清晰分组。
- 在发布后(以及主题或域名变更后)测试你的 SHOPLINE 店铺网址,然后在末尾追加 /llms.txt。
- 从 /llms.txt 设置 301 重定向 到你上传的文件(当前不支持将文件直接上传到根目录)。
不建议
- 在规则中填写完整域名;应仅使用以 / 开头的路径。
- 仅依赖基于查询参数的拦截;更推荐使用路径拦截(例如:Disallow: /checkout/)。