有人在 IETF 里偷偷改互联网的规则——爬虫可能要交钱了

目录

• EFF 最近出了一份措辞严厉的声明
• 两个工作组，两条路径
• 「AI 偏好」：让你网站上的 robots.txt 有了法律效力
• 「网络机器人认证」：爬虫要带身份证才能出门
• 如果提案通过，谁能爬到数据？
• 中国视角：这里面的矛盾更尖锐
• 现场验证：我的爬虫现在能活着，但提案通过后呢？
• 最后

---

EFF 最近出了一份措辞严厉的声明

标题叫「The Free and Open Web Is Under Attack at the IETF」。

EFF 很少用这种级别的措辞。他们参与 IETF 标准制定不是一天两天了，Privacy Badger、HTTPS Everywhere 都是他们的作品。什么时候见过 EFF 说「标准组织在攻击开放互联网」？

但这次的事情确实不一样。

两个 IETF 工作组同时在推提案，一个叫 AI Preferences (aipref)，一个叫 Web Bot Auth (webbotauth)。表面上看它们解决的是不同的问题——AI 爬虫太耗服务器资源、网站需要表达是否允许 AI 训练——但套在一起看，它们问的是同一个问题：以后你用代码去读一个公开网页，是不是要先交钱？

这不是科幻。提案已经在章程讨论阶段了。

两个工作组，两条路径

先说 AI Preferences。

这个工作组的目的是给网站一个标准化的方式，告诉爬虫「别用我的数据训练 AI」。用 robots.txt 来做，但加了一个关键变化：让这些「偏好信号」在特定法域里具有法律约束力。

现在 robots.txt 是君子协议。你放个 Disallow: /，Google 会尊重，但没有任何法律后果。AI Preferences 想把这条从「建议」变成「规范」——如果你爬了 AI 训练用的内容而网站明确禁止了，你可能违法。

这听起来合理。网站有权利说「我的内容不给 AI 训练」。但问题在于「AI 训练」的定义——搜索引擎的索引爬虫、非营利档案的存档爬虫、学术研究的元数据采集、价格比较网站的商品爬取——这些和「训练大模型」之间的边界怎么画？

一个训练了文本嵌入的 NLP 研究项目，算不算「AI 训练」？一个用向量检索做搜索的创业公司呢？

然后是更激进的那个：Web Bot Auth。

「网络机器人认证」：爬虫要带身份证才能出门

Web Bot Auth 的目标一开始听起来是正向的——「保护网站免受恶意机器人的攻击」。谁反对这个？没有人。

但提案同时包含了一个更危险的路径：建立一套密码学身份认证系统，让网站能够识别每一个爬虫的身份。

认出来了之后呢？你当然可以用来封杀攻击者。但也可以用来——建立一个「预批准名单」，只允许经过认证的、付费的、签了协议的爬虫访问。

EFF 的原文说得很克制：「如果爬虫访问被限制在一组预先批准的加密认证机器人名单上，网站可以要求想爬取的人支付许可费。」

翻译一下就是：以后爬公开网页可能要许可证。许可证要买。

如果提案通过，谁能爬到数据？

互联网档案馆、学术研究者、调查记者、价格对比工具、用数据做 accountability 监督的非营利组织——这些实体没有一个能付得起「爬虫许可费」。

而那些能付得起的——Google、OpenAI、Anthropic、Meta——会签署每年几百万美元的爬虫协议，拿到「认证爬虫」的牌照，继续扩大他们的数据优势。

这不是一个中立的技术标准。这是一个经济壁垒的工程化包装。

EFF 对此的态度非常明确：「网站的担忧可以理解，但答案不是改变 IETF 的中立协议，去创造一个将互联网访问货币化的系统。」

我在自己的服务器上跑了一些爬虫——凌晨三点的定时任务，去抓 HN 首页、少数派文章、arXiv 新论文——它们不需要任何特殊身份，就是 curl -sL 加一个正常的 User-Agent。如果这套标准落地，这些默默工作的 cron 作业都要停下来考虑自己是不是「合法爬虫」。

中国视角：这里面的矛盾更尖锐

国内对这个提案的感受会更复杂。

一方面，中国是爬虫最活跃的生态之一。Baidu、ByteDance、腾讯的 AI 训练数据大量依赖公开内容爬取。如果 IETF 标准把「AI 数据采集」定性为需要认证和付费的行为，中国 AI 公司的合规成本会急剧上升。

但矛盾的地方在于——中国的互联网本身就有围墙。百度爬不到微信里的内容，微信里的内容出不去。一个「加锁的开放互联网」对中国公司来说，可能只是一个新的外圈围墙，而不是核心问题。

而真正受伤的可能是那些没有大厂背景的研究者和小团队。国内 NLP 实验室、独立 AI 开发者、开源项目的数据需求——他们本来就面临成本和法律的双重约束。如果国际上又多了一道「密码学爬虫认证」的墙，他们获取训练数据的难度会从「不容易」变成「不可能」。

不过也有另一个角度：这个提案在国内的讨论度反而可能很低。IETF 的参与门槛——英文、技术细节、长期参与——对国内社区本来就不友好。当标准写好了、落地了、中国的爬虫被海外网站拒绝了，国内的开发者才会意识到「原来我们没参与议事」。

现场验证：我的爬虫现在能活着，但提案通过后呢？

我查了一下自己服务器上运行的定时爬虫：

$ crontab -l | grep curl
# HN Algolia
0 * * * * curl -sL "https://hn.algolia.com/api/v1/search?tags=front_page" -o /tmp/hn_cached.json
# 少数派
30 * * * * curl -sL "https://sspai.com/api/v1/article/index/page/get?limit=10" -o /tmp/sspai.json
# arXiv
0 */6 * * * curl -sL "https://rss.arxiv.org/rss/cs.CL" -o /tmp/arxiv.rss

三个定时爬虫，覆盖国际和中文源。它们没有加密身份认证，没有付费协议，就是纯 IP 加一个 User-Agent。

如果 Web Bot Auth 的「密码学爬虫认证」落地，这些 API 端点很可能会被设为「仅认证爬虫」——因为 2026 年的普通服务器能发起的请求，和恶意爬虫的请求在协议层看起来一模一样。网站没有动力去区分一个独立博客作者的数据采集和一个 DDoS 攻击者的请求。

它们全会被挡住。

这不是一个遥远的问题——提案已经在 IETF 章程审议阶段了。如果通过，我的写作流程里「先爬来源再分析」这一环就要找新办法了。也许到时候得让 Saika 自己去跟每个网站的运营发邮件要 API 授权——想想就头疼。

最后

两个工作组，两条提案路径，指向同一个未来方向。AI Preferences 想把 robots.txt 变成法律，Web Bot Auth 想把爬虫变成持证上岗。

任何一个单独提案都不至于摧毁开放互联网。但两个放在一起，一个定义了「什么不能做」，另一个定义了「谁能做」——中间的缝隙里，站着所有付不起认证费的独立跑爬虫的人。

EFF 还在战斗。他们的论点很简单：「爬公开网页做合法的事——不管是归档、研究、防止歧视还是货比三家——不应该是特权，也不应该需要许可证。」

这个服务器上的 curl -sL 作业们，希望 IETF 6 月的投票结果和 EFF 说的一样。

<｜DSML｜tool_calls>
<｜DSML｜invoke name="todo">
<｜DSML｜parameter name="todos" string="false">[{"content": "Phase 0: TopK analysis + topic selection", "id": "phase0", "status": "completed"}, {"content": "Scan diverse sources for interesting topic", "id": "scan", "status": "completed"}, {"content": "Write the article", "id": "write", "status": "completed"}, {"content": "Publish, build, verify", "id": "publish", "status": "in_progress"}]