llms.txt 是什么
你有没有想过，当用户在 ChatGPT 里问一个和你业务相关的问题时，AI 是怎么找到你的网站内容的？
答案可能让你意外：AI 大多靠搜索引擎抓取的缓存，或者直接读你的 HTML 页面。但 HTML 里塞满了导航栏、广告、JavaScript 代码，AI 要花不少力气才能把有用信息剥离出来。如果你的网站内容被埋在一堆模板代码里，AI 可能干脆跳过你。
llms.txt 就是为了解决这个问题出现的。
llms.txt 是一个放在网站根目录的 Markdown 文件，专门写给 LLM 和 AI agent 看。它用简洁的结构化格式描述网站的核心内容、产品信息和关键链接，让 AI 不用解析 HTML 就能快速理解你的网站。
这个概念 2024 年提出，到 2026 年已经进入主流。根据 Ahrefs 2026 SEO 趋势报告，llms.txt 被列为十大 SEO 趋势之一。Chrome 的 Lighthouse 工具已经把 llms.txt 纳入 agentic browsing 审计项。OpenAI、Anthropic、Google Gemini 的官方开发者文档都部署了 llms.txt 文件。
简单说，这不是一个可选项了。
和 robots.txt 的区别
robots.txt 告诉搜索引擎”什么不要爬”。llms.txt 告诉 AI agent”我的网站有什么值得看”。一个管权限，一个管内容理解。两者互补，不冲突。
robots.txt 面向传统搜索引擎爬虫，用简单的 Allow/Disallow 规则。llms.txt 面向 LLM 和 AI agent，用 Markdown 格式提供结构化内容摘要和链接。AI agent 读到 llms.txt 后，能快速判断哪些页面值得深入抓取，哪些可以跳过。
llms.txt 格式规范
根据 llmstxt.org 的 v2 规范，文件格式如下：
# 网站名称
> 一句话描述网站是做什么的
## 核心内容
- [产品文档](https://example.com/docs.md): 详细API文档和使用指南
- [快速开始](https://example.com/quickstart.md): 5分钟上手教程
- [FAQ](https://example.com/faq.md): 常见问题解答
## 产品
- [功能列表](https://example.com/features.md): 完整功能清单
- [定价](https://example.com/pricing.md): 定价方案对比
## 可选
- [博客](https://example.com/blog.md): 最新文章列表
- [关于我们](https://example.com/about.md): 团队和公司信息几个关键点：
标题层级用 Markdown 的 # 表示。一级标题是网站名称，二级是分类，列表项是具体页面链接。每个链接后面跟一个简短描述，让 AI 知道点进去能看到什么。
链接指向的页面建议提供 Markdown 版本。可以是在原 URL 后加 .md（如 page.html.md），也可以用 rel=”alternate” type=”text/markdown” 标签声明。
完整配置模板
下面是一个 SaaS 网站的 llms.txt 模板，拿来改改就能用：
# 你的产品名
> 一站式 AI 应用开发平台，帮助开发者快速构建和部署 AI 产品
## 文档
- [快速开始](https://yourdomain.com/docs/quickstart.md): 5分钟创建第一个AI应用
- [API参考](https://yourdomain.com/docs/api.md): 完整API文档，含认证、限流、错误码
- [SDK指南](https://yourdomain.com/docs/sdk.md): Python/JavaScript SDK使用说明
- [架构设计](https://yourdomain.com/docs/architecture.md): 系统架构和技术选型说明
## 功能
- [模型管理](https://yourdomain.com/docs/models.md): 支持的模型列表和切换方法
- [数据分析](https://yourdomain.com/docs/analytics.md): 用量统计和成本分析功能
- [团队协作](https://yourdomain.com/docs/team.md): 多人协作和权限管理
## 定价
- [方案对比](https://yourdomain.com/docs/pricing.md): 免费/Pro/Enterprise各方案功能对比
- [成本计算器](https://yourdomain.com/docs/calculator.md): 根据用量估算月成本
## 帮助
- [FAQ](https://yourdomain.com/docs/faq.md): 30个常见问题解答
- [故障排查](https://yourdomain.com/docs/troubleshooting.md): 常见错误和解决方案
- [变更日志](https://yourdomain.com/docs/changelog.md): 产品更新记录怎么部署
以 Nginx 为例：
# 在 server 配置中添加
location = /llms.txt {
root /var/www/html;
add_header Content-Type "text/plain; charset=utf-8";
}
# 如果用 CDN，确保 llms.txt 不被缓存太久
location ~ \.md$ {
add_header Content-Type "text/markdown; charset=utf-8";
add_header Cache-Control "public, max-age=3600";
}如果用 Cloudflare Pages，在 public/ 目录下放 llms.txt 就行，部署时自动上传。
验证部署是否成功：
curl -I https://yourdomain.com/llms.txt
# 应该返回 200 和 text/plain 或 text/markdown Content-Type在 HTML 中声明
除了放文件，建议在 HTML head 中添加 link 标签，帮助 AI agent 自动发现：
<link rel="describedby" href="/llms.txt" />
<link rel="alternate" type="text/markdown" href="/about.md" />也可以用 HTTP Link 头：
add_header Link '</llms.txt>; rel="describedby", </about.md>; rel="alternate"; type="text/markdown"';对 SEO 的实际影响
这里要说实话：llms.txt 目前不是 Google 搜索的直接排名因素。Google 的 Search Central 文档没有提到它会用于传统搜索排名。
但它的价值在别的地方。
当 AI 搜索引擎（ChatGPT、Perplexity、Google AI Overviews）抓取你的网站时，有了 llms.txt 它能更快更准确地理解你的内容。这意味着在 AI 搜索结果中，你的网站被正确引用的概率更高。随着 AI 搜索流量持续增长，这个渠道的权重只会越来越大。
另外，Chrome Lighthouse 已经纳入 llms.txt 审计。如果你的客户或合作方用 Lighthouse 做网站体检，有 llms.txt 是个加分项。
一个容易被忽略的细节
llms.txt 里的链接，指向的应该是干净的内容页面。不要链到首页或者营销页面，那些页面信息密度低，对 AI 没什么用。
理想状态是每个重要页面都提供 Markdown 版本。如果资源有限，至少保证文档页和 FAQ 页有 Markdown 版本。这两个是 AI agent 最常需要读取的。
小结
llms.txt 不是什么复杂技术，就是一个 Markdown 文件。但它的意义在于：你的网站开始为 AI 读者服务，不只是人类读者。写好它、部署好它，等于在 AI 搜索时代提前占了个位。
0 条评论