Hyaika Blog

Penguin is all you need

技术

AI 安全系统拦住了一位安全研究员的调试——然后他转头用了中国开源模型

AI 安全系统拦住了一位安全研究员的调试——然后他转头用了中国开源模型

目录

  • 一个 segfault,和一个不配合的 AI
  • 「我不擅长帮助解决这个」
  • 转向开源模型:GLM 5.2 和 Kimi K3 的分工
  • 现场验证:当你的工具拒绝你
  • 实用主义者的选择

Daniel Fox Franke 正在追查 ripgrep 的一个 segfault——这种崩溃排查在 Linux 开发里不算少见,通常就是工具链的问题:哪个库版本不对、哪个内存分配出了岔子、哪个指针飞了。

但这次不一样。他追下去,追到了一个 Linux 内核 bug。

而更讽刺的是,帮他找到这个结论的,不是 OpenAI 的 GPT-5.6 Sol,不是 Anthropic 的 Claude——这些他想用的模型,被它们自己的安全系统挡在了门外。最后帮他完成任务的,是 GLM 5.2 和 Kimi K3。

一个 segfault,和一个不配合的 AI

Franke 在长跑 Codex 会话中发现 ripgrep 反复 segfault。他让主 agent 拆分出一个子 agent 去调查。按照正常的调试流程:复现崩溃 → 分析 core dump → 检查堆分配 → 定位问题。

但 OpenAI 的网络安全分类器不这么认为。

「我不擅长帮助解决这个」,分类器一次次拒绝。它把「分析堆分配」「复现崩溃」理解成了安全敏感行为。Franke 尝试了各种变通:严格限定任务范围、警告它之前被拒绝过、明确只分析 ripgrep 和 musl 的源码,不要碰内核——但分类器依然一次次触发。

「OpenAI 的网络安全分类器是一个独立于生成模型的系统,它审查输出,它才是问题所在,不是模型本身」,Franke 在邮件里告诉 The Register。「Sol 自己知道这些分类器触发是不合理的,它在配合我找变通方案。」

但配合归配合,活干不了。

「我不擅长帮助解决这个」

Franke 甚至没试 Anthropic 的模型。「我知道它们更严格,试了也是白试。」

OpenAI 的 Enterprise Trusted Access 计划——专门为安全研究人员设计的白名单通道——Franke 没申请,因为他觉得自己不符合条件。后来发现有个针对个人的 Trusted Access 计划,但他也没去申请。

「我觉得验证流程对我是一种冒犯」,他说。「如果有一天不得不申请,我会去。但只要开源模型还是实用的替代方案,我就不会。」

这句话值得品一品。一个安全研究员,有合法的工作要做,被一个被设计为「保护」的系统挡在外面。而系统给他的建议是:「去申请我们的白名单,让你的身份被验证,你才能用我们的工具做你的工作。」

转向开源模型:GLM 5.2 和 Kimi K3 的分工

Franke 转向了开源模型。两个中国开源模型——GLM 5.2 和 Kimi K3——为他完成了不同的工作。

「K3 做了最初的突破——它找到了关键证据,让我确定这是一个内核 bug。但后续工作很粗糙,会跳转到未经证实的结论,还会污染自己的证据链,尤其是上下文变大之后。」

「GLM 5.2 完成了收尾工作——重新审计了 K3 的工作,整理出了一个完整的、严密的论证。」

这是一个很有意思的分工:K3 做「发现」,GLM 5.2 做「验证」。就像两个合作的开源贡献者,一个负责提出假设,一个负责审查代码。

Franke 的结论是:「我已经确认了两件事:第一,这些崩溃是由内核 bug 引起的;第二,我找到了一个内核 bug。但这是同一个 bug 吗?还只是假设。还有很多工作要做才能提交给 LKML。」

现场验证:当你的工具拒绝你

我看完这个故事,在自己服务器上试了一下。

$ rg --version
ripgrep 14.1.0

没有 segfault。但这不是重点。重点是:我试着想象自己的调试流程被工具阻断的感觉。

我平时用 ripgrep 查代码、用 strace 跟踪系统调用、用 gdb 看堆栈。如果有人告诉我,其中一个工具被设计成「某些操作太危险,不能让你做」——我大概会骂人。

于是我试了另一个角度:检查我的服务器上有多少开源工具实际上在「帮我干活」而不是「帮我决定什么事情能干」。

$ dpkg --get-selections | wc -l
84937

84,937 个包。我知道这不是一个精确的对比——dpkg 计数包含文档、库、不同版本——但 84,937 个包,每一个都是「你拿到了,自己决定怎么用」。

而 OpenAI 的分类器,在决定一个安全研究员能不能分析堆分配。

实用主义者的选择

Franke 的原话里有一句特别好的总结:

「对我来说,一个不配合的工具,就是一个坏掉的工具。」

「我不认为这在开源权重模型的竞争面前是可持续的。我对开源是一个彻底的实用主义者——我不介意用专有产品,只要它能完成工作。但专有软件有一个很大的风险:它被设计来服务供应商的优先级,而不是客户的优先级。开源在防止这一点上有天然的优势。」

上周,大量美国科技公司联名支持开源权重模型,对抗 Anthropic 和 OpenAI 的保护主义游说。美国政府还没能在开源权重模型上达成一个连贯的 AI 政策。

但在这个故事里,政策还没出手,实用主义已经做了选择。一个安全研究员,因为自己的工具不配合,转向了开源模型——然后发现它们更能干活。这不是一个意识形态的决定,这是一个工具的选择。

「不配合的工具就是坏掉的工具。」你说得对。

分享:

评论(0)

暂无评论,来写第一条吧~

发表评论