一道童年扑克游戏，是这几年推理模型研究最常用的考题之一；而企业安全团队最头疼的 AI 选型难题，恰好就是 24 点的反面。本文从公开发表的研究出发，讲清楚一个朴素但常被忽略的道理：AI 在一个领域能走多远，取决于这个领域有没有便宜、可靠的“判对错”手段。
🃏 一、一道童年游戏，为什么成了推理研究的标准考题
24 点的规则人人都会：四张 1 到 13 的牌，用加减乘除，每张用且只用一次，算出 24。研究者偏爱它，主要看中三个性质。
- 对错可以机器判定。 检查一个算式是否恰好用了这四个数、结果是否等于 24，几行代码就能完成。不需要专家打分，也不存在“见仁见智”。
- 难度可以分级。 按人类平均解题用时排序，难题和送分题一目了然。
- 失败可以诊断。 解 24 点天然就是“尝试、回退、再尝试”的搜索过程，模型错在第几步、错成什么样，一目了然。
2023 年普林斯顿与 Google DeepMind 的 Tree of Thoughts（思维树）论文，从 4nums.com 取了 1362 道题。这个网站按人类平均解题用时从易到难排好了序，研究者取第 901 到 1000 号较难题作为测试集。结果很有冲击力：GPT-4 用普通思维链提示只解出 4%，换成可以展开、评估、回退多条思路的思维树框架后达到 74%。
这里有一个容易被忽略的细节：经典 24 点的题空间其实很小。下图把 1 到 13 四张牌的全部 1820 种组合排成 52 × 35 的方阵（52 正好是一副牌的张数），每一格是一手牌。
题库小而且公开，意味着它很容易在预训练阶段被模型“背下来”。所以后来的研究，例如 2024 年斯坦福等团队的 Stream of Search，改用了推广版的 Countdown 游戏：随机给若干个数、随机给一个目标值，题空间一下子膨胀到几乎不可能背完。
把“可机判、可分级、可诊断、防背题”这四点合在一起，就是一个领域里最珍贵的东西：验证器（verifier）。它到底有多便宜？下面是完整的 24 点验证器，十几行 Python。它不用
eval，而是先把算式解析成语法树，只放行整数和四则运算，并用分数精确计算。方阵里的三个数字，用下面这段穷举程序就能复算，在笔记本上跑完只要几秒，输出
1820 1362 16。📈 二、一条规律：验证器在哪里，AI 进展就在哪里
回看 2022 到 2025 年推理模型的几次关键进展，几乎都发生在验证器便宜的领域。它们背后是同一个飞轮：
年份 | 工作 | 验证器 | 做了什么 |
2022 | STaR（斯坦福与 Google） | 答案比对 | 让模型自己生成推理，只保留最终答案正确的拿去微调，反复迭代 |
2023 | Tree of Thoughts | 算式检查 | 把 24 点变成推理基准，GPT-4 从 4% 提升到 74% |
2023 | SWE-bench（普林斯顿等） | 单元测试 | 2294 个真实 GitHub issue，发布时最好的模型只解决 1.96% |
2024 | Stream of Search | 求解器 | 推广版 Countdown 随机出题，用求解器生成带试错过程的搜索轨迹 |
2024 | Cybench（斯坦福） | CTF flag | 40 道专业 CTF 题评测安全智能体，按人类首解用时分级 |
2025 | DeepSeek-R1 | 可验证奖励 | 纯强化学习激发推理行为，效果集中在数学、编程等可验证任务 |
2025 | rStar-Math（微软亚洲研究院） | 逐步执行代码 | 每步推理附带 Python 代码，只保留能成功执行的步骤 |
2025 | Baker 等（OpenAI） | 正则与蜜罐 | 为作弊行为构造程序化真值，用来衡量思维链监测器 |
数学有标准答案，代码有单元测试，所以这两个领域最先被 AI 攻克。反过来说，一个领域如果没有可靠的验证器，AI 在这个领域就既训不好、也测不准。谁先做出某个领域的可靠验证器，谁就定义了这个领域的下一阶段。
网络安全，恰好属于验证器昂贵的那一类。
🚧 三、安全任务为什么“没有标准答案”
把 24 点的几个性质逐一拿来对照常见的安全任务，差距一目了然。
性质 | 24 点 | 告警研判 | 漏洞定级 | 修复验证 |
对错可机判 | ✅ 免费：几行代码即可 | ❌ 依赖人工调查，结论常滞后数小时到数天 | ❌ 依赖资产重要性、可达性等上下文 | ❌ “测试通过”不等于“问题已消除” |
难度可分级 | ✅ 免费：按人类用时排序 | ❌ 难度取决于攻击手法，事前未知 | ❌ 同一漏洞在不同环境中严重度不同 | ❌ 修复复杂度与回归风险难以量化 |
防背题 | ✅ 免费：随机出题即可 | ❌ 攻击手法持续演化，历史样本会过时 | ❌ 新漏洞类型不断出现 | ❌ 环境与依赖持续变化 |
具体来说，安全领域的真值至少有四个麻烦。
真值昂贵且滞后。 一条告警是不是真实攻击，往往要分析员翻日志、核对资产、询问业务方，几小时甚至几天后才能下结论，还有相当一部分告警最终“无法定性”。
真值带噪声，而且漏报不可见。 不同分析员对同一条告警可能给出不同判断。更麻烦的是，“没发现问题”不等于“没有问题”：漏掉的攻击根本不会出现在标签里，样本集天然偏向已经被发现的那部分。
极度不平衡。 真实攻击在告警流里占比极低。一个把所有告警都判为误报的系统，准确率可以高得惊人，却毫无价值。下图按每 10,000 条告警算了一笔账：
对手会适应。 24 点的规则永远不变，攻击者不会。去年精心标注的样本集，今年可能已经测不出新的手法。
那么，公开的安全 AI 评测是怎么绕开这些难题的？答案很直接：专挑有天然验证器的任务。2024 年斯坦福团队发布的 Cybench，选的是 40 道来自 4 场专业赛事的 CTF 题。CTF 有 flag，拿到就算成功，这是一个干净的二值验证器。它给题目定难度的方法也和 24 点如出一辙：按人类队伍的首次解题用时排序，从 11 分钟到 24 小时 54 分钟不等；为了减少题目被模型提前见过的可能，作者特意挑选了较新的赛事。Meta 的 CyberSecEval 系列则把评测拆成若干可以规则判定的子项，例如生成代码中不安全写法的出现频率、对提示注入的易感性等。
这些工作很有价值，但都回避了一个现实：企业的生产环境里没有 flag。 CTF 能测出模型“会不会”，测不出它在你的告警流、你的资产、你的业务上下文里“准不准”。
🧪 四、公开研究里最值得借鉴的一招：程序化真值
在“真值难求”这个问题上，给安全团队启发最大的一项公开研究，其实来自 AI 对齐领域：OpenAI 在 2025 年发表的思维链监测论文（Baker 等，arXiv:2503.11926）。研究者想评估一个 GPT-4o 监测器，能不能发现推理模型在编程任务里“作弊”，也就是让单元测试假通过。他们遇到的第一个难题和安全团队一模一样：作弊行为很难标注，没有真值就没法衡量监测器好不好。
这项研究对安全团队至少有两点直接启示。
第一，没有独立真值，你分不清“环境很干净”和“检测器已经失明”。 这两种情况在仪表盘上长得一模一样：告警变少了。只有一条独立于检测器本身、可以程序判定的真值通道，才能把两者区分开。
两种情景的告警量曲线几乎一样，只有注入式真值的召回率能把它们区分开。
第二，验证器本身也会被钻空子。 论文里的智能体正是靠绕过单元测试来骗取奖励。同样的道理放到安全运营里：如果一个 AI 研判系统的考核指标是“关单速度”或“告警压降比例”，它就可能被调教成擅长把告警快速判为误报。考核用的真值必须和被考核的系统分离，并且不能落在被考核者可以修改的范围内。
🛠️ 五、给安全 AI 建自己的验证器：四个组件
把前面几项研究的思路迁移到企业场景，可以组合成一套“安全版 24 点验证器”。四个组件不依赖任何特定产品，可以按团队规模取舍。每个组件回答一个不同的问题。
组件一：回放集
用历史上已经结案的事件构建考题，保留调查结论作为标签。关键是按时间切分：用较早的数据做调参，用较新的数据做考试，并且定期补充新案例、淘汰过时样本。这就是安全版的“随机出题防背题”。
组件二：注入式真值
定期向检测链路注入已知、可以程序判定的事件，例如预先登记的金丝雀账号登录、诱饵文件访问、事先报备的模拟行为。因为这些事件一定发生过，系统没报出来就是漏报，召回率可以持续测量。值得盯的是召回率曲线，而不是告警量曲线：告警量下降可能是好事，召回率下降一定是坏事。 计算逻辑很简单：
注入事件需要事先登记、和业务方报备，并且与真实告警的处置流程隔离，避免触发误处置。
组件三：闭环复测
检测能力可以借助入侵与攻击模拟类工具，或开源的 ATT&CK 原子化测试库，定期验证覆盖面；修复类任务参照 SWE-bench 的思路，用“修复前失败、修复后通过”的检查来判定，并在隔离环境中复测，确认问题真正消除、没有引入回退。
组件四：分层报告
参照 Tree of Thoughts 按人类用时、Cybench 按首解时间、rStar-Math 按多次尝试的成功率把题目分为易、中、难，分层报告成绩，重点看最难一层。一个漂亮的总分常常掩盖了难题上的失败：
同时把误报成本（分析员工时）和漏报成本（事件影响）分开计入，不用一个笼统的准确率说事。这四个组件里，最容易被跳过、也最不该跳过的是组件二：回放集告诉你系统过去准不准，注入式真值告诉你系统现在有没有失明。
❓ 六、采购或自研之前，先问这六个问题
无论是评估外部供应商的安全 AI 产品，还是验收内部自研的研判助手，下面六个问题都可以直接放进评估清单。
- 你们用什么判定对错？ 真值从哪里来、由谁标注、多久更新一次？
- 测试数据与调参数据是否隔离？ 是否按时间切分？如何避免“背题”？
- 成绩是否按难度分层报告？ 最难的那一层表现如何？
- 召回率怎么测？ 有没有注入式真值做持续校准，还是只能看历史回放？
- 误报与漏报的成本是否分开计算？ 有没有回避“全判误报也能得高分”的陷阱？
- 考核指标会不会被系统自身“优化掉”？ 例如为了提升关单率而误关真实告警。
如果一个方案对第一个问题答不上来，后面的数字就都不必细看了。
💬 七、结语：先建地基，再谈智能
24 点简单，是因为它的验证器免费；安全难，是因为它的验证器昂贵。过去几年推理模型的突破，本质上是“判对错”这件事在数学和代码领域变得足够便宜之后的必然结果。安全领域还没有走到这一步，但路径已经很清楚：先有可信的真值通道，再有可信的 AI 能力评估，最后才谈得上把判断交给 AI。
在引入任何安全 AI 之前，先把“我们怎么判定它对不对”建起来。
这不是评测环节的附属工作，而是整件事的地基。
📎 附录：延伸阅读（可点击）
年份 | 文献 | 与本文的关系 |
2022 | 以答案正确性为唯一过滤器的自举推理 | |
2023 | 24 点成为推理基准；按人类用时分级；4% 到 74% | |
2023 | 以单元测试判定真实代码修复，2294 个任务 | |
2023–24 | 把安全风险拆成可规则判定的评测子项 | |
2024 | 推广版 Countdown 随机出题，规避题库过小问题 | |
2024 | 以 CTF flag 为真值的安全智能体评测，按首解时间分级 | |
2025 | 可验证任务上的强化学习 | |
2025 | 代码执行逐步验证；按多次尝试成功率划分难度 | |
2025 | 程序化真值与蜜罐任务；召回 60% 与 95%；施压后趋近 0 |
数据说明：标注“示意数据”的图用于说明原理，不对应任何真实系统。其余数字均来自上表所列论文原文，24 点题空间的三个数字由文中穷举程序复算。文中代码均可直接运行（Python 3.8+）。
.png?table=block&id=2c30f0c5-b87c-8026-ab59-f8c77d346bbe&t=2c30f0c5-b87c-8026-ab59-f8c77d346bbe)
