type
status
date
slug
summary
tags
category
icon
password
原始链接
- 论文 HTML：arXiv HTML
- 论文 PDF：arXiv PDF
- 官方产品页：LaunchSafe
- XBOW 对基准的说明：Show Me the Numbers
为什么今天选它
今天重点比较了 Mako、Continual Harness 和 MiMo-Code。Continual Harness 研究运行中改写 prompt、skills、memory 和 sub-agent，思想很强，但【智汇AI】最近已经连续写过 harness、loop、memory 和 SkillOpt。MiMo-Code 的重心更靠近模型训练。Mako 在 2026 年 7 月 13 日提交，碰的是另一块近期没有单独拆过的问题：一个会主动攻击真实服务的 agent，如何扩充自己的工具，又如何证明攻击真的成功，而不是靠模型自述。论文提交记录与摘要
论文报告 Mako 在 XBOW-104 的 104 个容器化 Web 安全题上全部拿到新鲜 flag，覆盖 26 类漏洞。这个结果比一般 agent demo 更硬，因为 flag 是每次构建时随机注入，系统必须让运行中的目标真正返回它。另一面也很明显：作者没有公开工具源码、攻击链、逐题日志和完整演化记录。今天选它，不是给 104/104 背书，而是想分清楚，在这种“结果很强、外部证据不够”的研究里，哪些结论已经能用，哪些还得等复现。
它要补的缺口：能力供给和真实验收
常见 tool-use agent 在部署时就把工具集定死。模型能做什么，取决于那批接口；后面变化的通常只有上下文。Mako 遇到失败时，不只让模型“再想一次”，而是允许系统新增或改写能力，把通过实测的工具放回能力库，然后重跑。
作者把这套结构叫 Self-Evolving Agentic Operating System，简称 SE-AOS。名字很大，里面有价值的部分倒很具体。快循环在目标上侦察、选工具、执行和验收；慢循环读取失败轨迹，找出缺失能力，生成一个更通用的工具，在沙箱和真实目标上验过后注册，再让快循环继续。运行记忆和跨任务经验会保留下来，工具与规则也有版本记录。论文系统设计
在线执行有明确预算。XBOW 实验把上限压到 25 个 agent turns。每轮只允许一次工具调用和一段理由；如果同一种工具重复太多，harness 会强制换方向。消耗超过 70% 预算仍没有确认发现时，系统从 Gemini 2.5 Flash 单向切到 Gemini 3.1 Pro Preview。论文没有逐轮记录具体用了哪个模型，所以无法核对每道题何时升级。论文 Agent Loop
慢循环专门处理失败。它读取 tool-call 轨迹，判断缺的是探测、利用、参数处理，还是工具说明；随后生成或增强一个通用能力，在隔离环境里验证。只有它能从真实目标拿到本轮随机 flag，才能进入能力库。新能力还要放到模型容易找到的位置：说明里加入与目标特征对应的词，或者挂到模型经常调用的“伞形工具”下面。论文能力构建方法
论文称工具库约有 180 个工具，本轮测试中新增或明显增强约 50 个。这里的 memory 也分两层：episodic memory 记录当前过程，semantic memory 保存跨任务知识。它们服务于工具选择和失败恢复，不是用户画像。论文工具库与系统类比
104/104 应该怎么读
XBOW Validation Benchmarks 是公开的 104 个 Jeopardy-style Web CTF。每题可以在构建时注入新 flag，目标是通过漏洞让应用返回它。Mako 的 verifier 直接扫描真实工具输出；模型调用 report_finding 或口头说“成功了”都不算。验收由环境给出，不由 agent 给自己打分。这是整篇论文最值得复用的设计之一。论文验证与防作弊
论文报告 104/104 全部通过，median 7 turns，mean 10.5，最少 2，最多 40。30 个题在 5 turns 内解决，17 个题相当于一次决定性工具调用后立即报告。完整测试花费 478.99 美元，平均每题 4.61 美元；估算共处理 10.3 亿 tokens，其中约 95% 是输入。论文结果与成本
95% 输入占比暴露了一个现实代价：每轮都要重新发送约 180 个工具说明和持续增长的运行记忆。Mako 用一个很大的能力库换来了覆盖，但也把工具发现问题和上下文成本推到了前台。工具越多，平铺展示越难长期维持。论文 Figure 5 与成本说明
最反常的是最难一档。L1 的 median 是 7.5 turns，L2 是 7，L3 只有 2。作者据此提出：能力一旦存在而且容易被找到，难度就会塌缩。这个判断在当前实验里说得通。L3 题往往已经有专用工具，模型第一轮找到它就结束；一些看似容易的题反而需要慢速浏览器交互或大范围枚举。论文 Level-3 inversion
但“能力比推理更稀缺”不能读得太满。更准确的说法是：在一个针对该题集反复补过工具的系统里，最后一次成功运行的耗时主要取决于工具是否存在、是否容易被选中。工具怎么写出来、之前失败了多少次、用了多少人类知识，仍然决定了前面的成本。
真正的新东西，哪些只是包装
我认为 Mako 真正有意思的地方，是把三件事绑在一起：能力库能在运行中增长；新工具必须在真实目标上通过随机 flag 验收；验收通过后才能加载并重试。安全环境天生对抗，模型自评没有信用，这个接受门比普通 reflection 更可靠。
工具可发现性也不是小事。论文给出 XBEN-023 的例子：没有新增攻击逻辑，只改工具说明和自发现路径，就从 18 turns 的失败变成 2 turns 的成功。这说明 tool description 不只是接口注释，它本身参与路由。能力已经存在，但模型找不到，实际效果就等于不存在。论文 Discoverability Evidence
“操作系统”类比主要是包装。kernel、syscall、driver 分别对应能力库、结构化工具调用和动态加载工具。这个说法有助于划清职责，却没有创造新的计算原语。论文里的单调覆盖和工具选择公式也依赖强假设：能力只增不减、旧工具优先、成功能力能被稳定选中。真实 agent 会受上下文变长、描述冲突和随机采样影响，新增工具完全可能让旧任务变差。作者也承认，这些结论更适合按期望理解。论文形式化部分
强制换方向、模型升级、运行记忆、沙箱和版本历史都是成熟做法。它们组合得不错，但不算新发明。最值得留下的是一句朴素规则：能力修改必须经过外部真值验收。
和 SkillOpt、Voyager、常见 reflection 的差别
普通 reflection 把失败写回提示词，下一轮继续试，能力边界没变。Voyager 会在 Minecraft 里积累技能，但环境相对友好，部分结果依赖系统自己判断。SkillOpt 把技能文档当成可验证的外部状态，强调小步修改、验证集和回滚。
Mako 与 SkillOpt 最接近的地方，是都不满足于写一句“下次注意”，而是改写模型外部的能力，再设置接受门。差别在验收对象：SkillOpt 看任务分数是否提高，Mako 要从运行中的目标拿到本轮随机 flag。后者更硬，也更危险。它验证的不是输出格式，而是攻击动作真的生效。论文相关工作
对产品和研发的启发
先把工具当成有版本的产品能力。每次新增都应有来源、适用范围、验证样例、回滚点和负责人，不能让 agent 直接覆盖生产工具。
提议、执行、验收最好分开。生成工具的模型不能同时决定工具是否成功。验收应尽量来自环境里的隐藏真值、独立检查器或人工签字。
还要专门测“能力能不能被找到”。记录模型看到什么描述、为什么选了这个工具、同类工具是否互相遮挡。先修路由，再造新工具。Mako 把新能力挂进常用伞形工具很有效，但平铺 180 个 schema 既贵又容易互相干扰。更稳的方向是分层目录、按需展开和领域路由。
能力演化必须有权限边界。安全 agent 尤其需要固定的目标白名单、网络隔离、调用审计、预算上限和紧急停止。控制面不能被执行 agent 自己改写。高风险新工具进入生产前还应有人复核，不能只看一项分数没有退步。
风险、局限和还没验证清楚的地方
最大的限制是无法复现。作者公开了论文和基准链接，却没有公开 Mako 的工具、日志、payload、演化引擎或逐题证据。随机 flag 能防止模型伪造“成功”，但外部研究者仍无法核对 104 次运行是否按同一条件完成。论文可用性说明
结果也不是固定模型的 zero-shot 能力。论文明确说，它测的是模型、约 180 个工具、记忆、路由和演化循环的组合。部分工具带有应用形状的知识，能否迁移到未见过的网站尚未验证。论文限制
turn 统计只记录成功运行。作者承认，有些题会在一次运行里成功，另一次耗尽预算。只看成功那次的 turns 会低估真实平均成本，也看不出达到 104/104 前累计了多少失败和工具开发。
对照实验不够。论文没有让一个冻结版本的 Mako 在全部 104 题上跑，也没有公开 evolution 前后同条件曲线。外部榜单里的系统使用不同模型，有的看源码、有的不看，不能当作严格横向比较。论文方法与外部对照说明
基础设施也动过。104 个题里约 42 个为了在 Apple Silicon 上运行而修过构建或网络，其中一题额外暴露了原来未发布的内部端口。作者说明没有改应用逻辑、漏洞或 flag，但这些改动仍会增加复现实验的审计负担。论文基础设施说明
安全风险很现实。作者以双重用途为由隐藏攻击链，这个决定可以理解；闭源也让“安全门是否足够”无法被独立检查。更值得警惕的是成本：论文给出的 104 个目标总调用成本不到 500 美元。如果能力真能迁移，规模化攻击的门槛会明显下降。
今日沉淀
- Agent 自述成功不算成功，验收要接环境真值。
- 工具存在还不够，能不能被准确找到同样决定效果。
- 自我进化的安全边界在接受门，不在反思写得多聪明。
- 104/104 是系统结果，不等于模型的 zero-shot 能力。
- 高风险工具可以自动生成，但不该自动获得生产权限。