王健俊
全部项目

智能体工程化交付与评测方法

让设计智能体的交付结果可以复现、验收和追踪问题。

我负责 M0 Design Agent 的评测、Figma 结构化编辑与 MCP 接入;构建 84 任务、160 页面、979 验收项的业务 Benchmark。

查看结构示意图(可左右滑动)
BUILD → VERIFY → IMPROVEAgent Delivery & EvalsFrozen inputsPRD · target · constraintsNative outputEditable artifact + evidenceIndependent reviewValidity · coverage · qualityFindings → Repair → Regression项目结构示意WJ / SELECTED WORK
Agent开发 · 智能体与评测2026年8月 – 至今
Agent SystemsEvaluation BenchmarkFigma AST / JSX+3

关键成果

  • 构建 84 任务 / 160 页面 / 979 原子验收项业务 Benchmark
  • 核心验收项自动覆盖率达 95%+,单 Case 验收耗时 20–30min 降至 3–5min
查看其余成果
  • Figma SceneGraph ↔ JSX 声明式编辑协议,复杂修改成功率 95%+,减少 60%+ 工具调用
  • MCP 封装与并发治理,复杂生稿 E2E 成功率提升至 95%+,并发异常率降低 50%+

95%+

核心验收项覆盖率

20-30m→3-5m

979

原子业务验收项

84 任务/160 页面

95%+

复杂设计修改成功率

-60% 工具调用

95%+

MCP 生稿 E2E 成功率

-50% 并发异常

背景

设计智能体面对的不是单一文本回答:它需要把 PRD 和画布上下文转化为可继续编辑的设计内容。一次工具调用成功、返回截图,或得到非空节点,都不足以证明最终交付完成。

真正的交付至少要回答三个不同的问题:目标是否正确、产物是否可用且证据完整、需求是否按约束落地。把它们混为一个“成功”状态,会让问题被掩盖,也无法指导后续迭代。

方案

01

冻结输入与目标

明确 PRD、画布上下文、目标文件/页面与允许的能力边界,避免把错误目标上的成功当成交付。

02

执行并保留原生产物

通过正常 Agent 与工具链路生成设计,保留原生节点、结构快照和可读取的结果,而不是只保存一张渲染图。

03

联合验收

用目标身份、可编辑结构、截图、文本与几何证据分别验证交付有效性、证据完整性和需求符合度。

04

诊断与回归

把输入、产物、检查结果和问题固定下来;后续修复在同一条件下重新验证,不用单次最好结果覆盖失败。

架构

流程拆解

从需求到可回归的设计交付

把输入、产物、证据和评审结论分别保留,让每次修复都能回到同一任务验证。

冻结同一输入 · 再次验证01冻结输入PRD / CONTEXT02执行与生成AGENT / TOOLS03采集证据STRUCTURE / RENDER04独立评审VALIDITY / QUALITY05诊断与修复FINDINGS / FIX06同题回归SAME CASE / RECHECK
01 / 06

冻结输入

记录需求、目标文件与允许的工具边界,使之后的生成和评审共享同一验收约定。

输入
需求与画布上下文
输出
可复现的任务输入

公开工程方法示意;证据不足时保留 unknown。

技术细节

三层评测与验收维度矩阵

产物有效性

Delivery Validity

验证交付产物是否真实存在且可用,拒绝以 HTTP 200 或工具单次调用替代交付判断。

  • 目标文件与页面身份准确
  • 非空节点与有效几何尺寸
  • 原生可编辑文本与语义层级
证据完整性

Evidence Completeness

每一条验收结论必须附带可复现的直接证据,证据链不足时明确标注未知(Unknown)。

  • 全画布高保真渲染截图
  • JSON 结构快照与节点属性
  • 会话日志、环境配置与调用 Trace
需求符合度

Requirement Fidelity

对照 PRD 功能约束与视觉要求评审产物,把可定位的问题交给后续诊断与修复。

  • PRD 约束条件逐项核对
  • 视觉可读性与元素层次
  • 保留独立于诊断的产品评审结论

不把“非空”当成完成

验收先检查目标身份和原生结构:正确文件/页面、可见且非空的内容、可解码的截图、可编辑的文本或设计节点。只有这些基础证据成立,才进入需求和视觉层面的判断。

把未知保留下来

结构事实、视觉可读性和业务语义需要不同证据。缺少证据时,结论应是 unknown,而不是靠截图猜测或用单一成功信号补齐。这个边界让评测结果更可信,也让后续诊断有明确入口。

为迭代保存证据

每次运行保留输入、目标身份、原生结构、截图、会话与版本信息。这样可以区分生成失败、交付失败、取证不完整和需求不符合,也能在修复后做可比的回归验证。

让评审问题推动修复

每条 Finding 保留问题位置、相关约束与直接证据。执行记录用于查找生成过程中的原因,原始产品评审结论继续保留。修复后回到同一任务检查原问题与受影响内容,并形成新的回归证据。

交付是否有效、证据覆盖到哪里、产物质量如何,需要分别呈现;已经发现的问题也应保留为可执行的修复事项。

项目价值

这套方法把可验证的目标、原生产物和回归证据连接起来,用于判断设计是否真正交付。

经验教训

执行、证据、需求和诊断需要分别记录;缺少证据的结论保持未知。