数据研究约 19 分钟阅读
数据 · 证据 · 洞察
两轮数据分析合并汇报：从100万条真实对话、66万轮执行轨迹与300条语义精读，回答用户想让Agent做什么、工程师该练什么。全量结论为E3级候选假设，附完整质量边界。
两轮数据分析 · 合并汇报
用全量统计 + 执行轨迹 + 语义精读，回答两个问题：用户到底想让 Agent 做什么？把这件事可靠地做成，工程师要会什么、先练什么？
需求侧
1,000,000
LMSYS 对话全量扫描
执行侧
665,453
轮执行轨迹 · 74 万次工具调用
语义侧
300
条对话精读编码案例
产出
51
条可追溯需求候选
全量结论为 E3 级候选假设，语义真值待独立复核
2026-10-20 生成 · 两轮研究
向下滚动
01 / 数据与方法
两轮研究：从统计信号到语义证据
第一轮用全量规则统计看"话题长什么样"；第二轮用本地模型语义精读看"真实任务要求什么"。两轮不做跨库配对，结论各自记录证据等级，避免把词面信号直接当作语义发现。
R1
规则统计
规则统计
第一轮 · Agent 需求挖掘与产品线设计
全量 + 分层抽样18 分钟扫描扫描 LMSYS 全部 1,000,000 条对话，构建 30,000 条按 language × 轮数分层的深度样本；执行侧覆盖 TraceLab 665,453 轮、743,819 次工具调用、2,688,829 条事件。产出 51 条去重需求候选、28 个任务包假设、18 条设计启示、7 类产品方向与 Top10 研发验证建议。
R2
语义精读
语义精读
第二轮 · 工程师场景与能力地图
300 案例本地 4B 模型对 300 条去重对话做目的性覆盖采样与本机语义阅读：任务要求逐字定位 328 项，产出 22 个场景类别、21 类工程问题、16 项可迁移能力、10 个主项目 + 2 个待复核草案。原文仅发往本机模型，未下载或外发任何原始对话。
方法差异
R1 固定规则与词面信号；R2 本地模型阅读对话并逐字定位用户要求。R2 新增第二模型源对照与分歧记录，但仍是同家族模型，不构成独立人类真值。
证据等级
全部结论为 E3 候选：有可复算信号关联，但 E2 级语义证据 = 0，无独立评审标签。词频与占比只描述该数据集快照，不外推市场。
数据边界
LMSYS 是 2023 年演示网站历史对话；TraceLab 仅覆盖编码 Agent 且不可还原用户任务。两侧无共同身份，不做跨库 join 与供需相减。
02 / 发现一 · 需求侧
需求是"交付"，不是"对话"
对话话题不能直接等于 Agent 机会。第一轮的全量分类显示：真正具备可承接执行闭环的信号，远小于问答总量——先定义交付物，再决定要不要做成自主流程。
初始任务全景 · 规则分类占比
N = 1,000,000 对话查看原始数值
| 项目 | 数值 |
|---|---|
| 其他/无法判断 | 40.87% |
| 一般问答 | 22.48% |
| 写作与表达 | 11.84% |
| 编程与软件开发 | 10.63% |
| 学习与辅导 | 3.75% |
| 创作与构思 | 2.84% |
| 工具操作与事务执行 | 1.62% |
| 方案建议与决策 | 1.60% |
| 知识检索与研究 | 1.39% |
| 角色扮演与对话体验 | 1.11% |
| 数据与定量分析 | 1.09% |
| 翻译与本地化 | 0.78% |
词面规则单选主意图；其他/无法判断占 40.87%，是当前需求排序最大的可信度限制。
机会分层 · 谁可能受益于 Agent
规则信号占比查看原始数值
| 项目 | 数值 |
|---|---|
| 单次响应候选 | 35.61% / 356,065 条 |
| 无法判断 | 35.60% / 355,972 条 |
| 工具增强可能受益 | 16.46% / 164,620 条 |
| 持续执行可能受益 | 12.33% / 123,343 条 |
持续执行命中也可能只是"继续写"；三档仅用于寻找需进一步核验的任务，不能自动批准工具操作。
66.57%
单轮对话
665,681 条对话止于单次问答。产品应同时提供轻量能力入口与可执行交付闭环，不宜把所有问答都改造成自主流程。
12.33%
持续执行代理信号
123,343 条规则命中，只是候选，不代表真实 Agent 必要性或授权。需求侧证据需语义复核后才能升级。
40.87%
初始意图无法分类
408,703 条；另有 English 子样本 7.79% 精确重复提示。应先复核并分离真实委托 / 模板测试 / 内容探索。
R1 启示 01
先定义交付，再定义 Agent
文本、代码、文件和操作回执分别设为验收对象；相同主题可对应不同的产品闭环。后续新增的要求要纳入任务状态——首条消息只是初始分布（在分层样本中，后续消息新增能力信号的加权占比为 10.46%，相邻消息的意图变化为 6.76%）。
03 / 发现二 · 执行侧
最大的坑不是模型能力，是"未知状态"
TraceLab 66 万轮真实编码轨迹暴露的核心工程约束：工具报错 ≠ 任务失败，但状态不可见 = 无法判断成败。高频工具的已知报错率与状态覆盖率严重脱节，产品底座需要先补状态适配、逻辑命令与证据链。
工具画像 · 报错率 × 状态覆盖率 × 调用量
气泡大小 = 调用次数查看原始数值
| 项目 | 数值 |
|---|---|
| codex/exec_command | 覆盖 87.4% / 已知报错 6.7% / 251,630 次 |
| claude/Bash | 覆盖 99.91% / 已知报错 6.42% / 158,610 次 |
| codex/write_stdin | 覆盖 47.3% / 已知报错 14.23% / 75,975 次 |
| claude/Read | 覆盖 99.56% / 已知报错 1.71% / 63,984 次 |
| codex/exec | 覆盖 0.19% / 已知报错 100.0% / 46,754 次 |
| claude/Edit | 覆盖 99.51% / 已知报错 3.48% / 36,713 次 |
| codex/apply_patch | 覆盖 95.22% / 已知报错 0.49% / 32,332 次 |
| codex/wait | 覆盖 0.32% / 已知报错 100.0% / 11,404 次 |
| claude/TaskUpdate | 覆盖 99.67% / 已知报错 0.15% / 8,853 次 |
| claude/Write | 覆盖 99.73% / 已知报错 3.84% / 8,625 次 |
| codex/shell_command | 覆盖 99.63% / 已知报错 8.85% / 7,624 次 |
| codex/shell | 覆盖 96.23% / 已知报错 11.93% / 5,416 次 |
codex/exec 与 codex/wait 的 100% 已知报错率只覆盖极小已知子集，不能排名为"最不可靠工具"——它首先提出适配器与可观测性需求（E3），而不是模型能力结论。
0.19%
codex/exec 状态覆盖率
46,754 次调用、覆盖 7.45% 的会话，却几乎没有可见状态——结果是否成功无从判断。
47.30%
codex/write_stdin 状态覆盖率
75,975 次调用，已知报错率为 14.23%——超过一半的返回处于未知状态。
70.9s
claude/Bash 单次交互 p95 延迟
工具延迟优先采用 internal，回退到 wall；在并行与轮询下，不能累加成端到端耗时。
R1 启示 09 · 10 · 13
先把工具结果补上"已知 / 未知"状态
适配器应明确报告覆盖率，不让未知结果静默记为成功；逻辑命令与轮询调用分层展示生命周期，底层保留轮询事实，避免误报重试或进度。长上下文需预算与状态摘要——claude / codex 的输入 prefix 占比达 95.22% / 96.23%，累计输入重复计算多轮上下文。
04 / 发现三 · 语义侧
具体任务，能连成一条可练习的能力链
第二轮把研究终点从"产品机会"转向"工程师学习"：300 条精读给出完整链路——真实用户任务 → 业务场景 → 工程难点 → 可迁移能力 → 分级练习 → 作品证据。任务清楚不等于商业用途已知，但足以指导练什么。
INPUT
真实用户任务
300 条去重对话，要求逐字定位
328→
CLUSTER
业务场景
22 个有样本类别，含模板与反例
22→
ABSTRACT
工程问题
C 级问题族，含触发与验证
21→
TRANSFER
可迁移能力
带前置依赖的能力链 C01–C16
16→
PRACTICE
分级练习
基础 / 进阶 / 工程三版练习
10→
OUTPUT
作品证据
验收清单与可复现证据
4 级场景样本分布 · 22 类
目的性覆盖样本查看原始数值
| 项目 | 数值 |
|---|---|
| S17 模板与安全测试 | 57 |
| S04 文稿改写约束 | 56 |
| S16 知识问答 | 50 |
| S15 故事与角色 | 32 |
| S06 代码排障 | 26 |
| S02 限定知识源 | 25 |
| S03 网页→文档 | 12 |
| S24 需求→代码 | 7 |
| S05 来源综合 | 6 |
| S09 方案与计划 | 6 |
| S01 结构化抽取 | 3 |
| S07 API 集成 | 3 |
| S10 教学反馈 | 3 |
| S18 数据分析 | 3 |
| S19 多媒体 | 3 |
| S13 日程事务 | 2 |
| S20 未归纳 | 2 |
| S21 合同文书 | 2 |
| S23 标准编码 | 2 |
| S11 简历匹配 | 1 |
| S12 风险判定 | 1 |
| S22 实体匹配 | 1 |
S17 模板/安全测试 57 例、S16 知识问答 50 例、S04 文稿改写 56 例——问答与模板不自动升级为业务 Agent 方向。案例可跨类别计数（合计 303），不等于 300 条去重对话之外的新样本。
第二模型复核 · 25 个重点案例
同家族模型，非人类真值查看原始数值
| 项目 | 数值 |
|---|---|
| 支持 | 17 |
| 不确定 | 3 |
| 不支持 | 5 |
R2 发现 03
模型复核"保守"，不等于用户没提需求
广义与聚焦目标检查在 25 个案例中有 23 项状态不同——审查定义敏感、模型不稳定，不能把模型共识当真值。未支持的 5 项与不确定 3 项不进入项目直接依据，原始分歧保留。
05 / 产品线与验证优先级
先验证研发闭环与共享执行底座
优先级来自可比证据 + 工程可验收性，不是需求频率排名：研发执行在需求侧有可定位代码信号，执行侧又直接来自编码 Agent。数据分析、研究、内容文档有清晰交付物，用带真值的任务包验证；事务与多模态先补权限与场景证据。
八条产品方向 · 规则信号并集占全量
信号可重叠，行占比不能相加查看原始数值
| 项目 | 数值 |
|---|---|
| 共享 Agent 执行底座 | 23.74% |
| 内容与文档 Agent | 12.21% |
| 事务与工作流 Agent | 11.44% |
| 研究与知识 Agent | 10.72% |
| 学习与求解 Agent | 7.26% |
| 数据分析 Agent | 6.26% |
| 研发执行 Agent | 5.05% |
| 多模态创作 Agent | 4.74% |
共享执行底座 23.74% 是各线共用层，不计作独立市场；"持续执行代理"占比最高的是内容文档线（54.09%）。
Top 10 优先研发验证建议
覆盖 × 影响 × 证据 × 可行性| 需求 | 证据侧 | 覆盖信号 | 优先理由 |
|---|---|---|---|
| 定位并修复代码故障 | 需求侧 | 0.41% | 覆盖1 · 影响3 · 证据2 · 可行3 |
| 从需求生成可运行代码 | 需求侧 | 2.88% | 覆盖2 · 影响2 · 证据2 · 可行3 |
| 生成并执行测试 | 需求侧 | 0.09% | 覆盖1 · 影响3 · 证据2 · 可行3 |
| 交付物验证与自查 | 需求侧 | 2.93% | 覆盖2 · 影响3 · 证据2 · 可行3 |
| 格式和多条件约束跟踪 | 需求侧 | 16.22% | 覆盖3 · 影响3 · 证据2 · 可行3 |
| 统计分析与解释 | 需求侧 | 0.61% | 覆盖1 · 影响2 · 证据1 · 可行3 |
| 证据引用与事实核验 | 需求侧 | 1.39% | 覆盖2 · 影响2 · 证据1 · 可行3 |
| 逻辑命令生命周期与轮询治理 | 执行侧 | 不可算 | 执行约束明确，方案收益待评测 |
| 工具结果状态与覆盖率治理 | 执行侧 | 不可算 | 执行约束明确，方案收益待评测 |
| 上下文与资源预算控制 | 执行侧 | 不可算 | 执行约束明确，方案收益待评测 |
四维排序为组合评审；语义证据未独立复核，可信度封顶。
证据复核
完成 500 条开发/冻结评审；高置信标签达 precision ≥ 0.80 才升级，否则修规则或降级。
任务包验证
为 Top10 建带真值的正常、边界、故障样本，比交付正确性、副作用与人工介入。
受控试点
先开放研发沙盒与只读可复算交付，再验证外部操作；权限、恢复与验收可观测。
产品扩展
按复用能力与真实任务组合扩展相邻场景；新场景须有独立证据，不依赖跨库外推。
06 / 能力依赖与学习路线
从"能解释"到"可工程化"，按依赖往上练
16 项能力带前置依赖：任务规格 → 数据契约 → 解析与证据 → 检索核验 → 领域适配；另一支从工具适配长出状态、恢复、观测与安全。不要一次做完 12 个项目——选一条主线，先建基础，再做领域闭环，最后用共享底座练恢复与观测。
能力依赖图 · C01–C16
箭头 = 前置依赖领域规则适配需另补知识源与专业验证；法律、医疗、贸易编码可共享工程机制，不能共享未经核验的专业答案。
项目自评四级 · 用可复核证据说话
LEVEL 0
理解
能解释问题与边界：任务规格、设计选择与反例。
LEVEL 1
实现
固定输入下完成正常路径：可运行入口与实际交付。
LEVEL 2
验证
能处理负例并测量质量：冻结真值、分母、错误分析。
LEVEL 3
工程化
能控制副作用并恢复、追踪、复现：故障注入、幂等、审计日志。
07 / 质量边界
哪些话，这份研究不能说
一份可复算的探索汇报，不等于已验证的商业计划。以下边界是结论的一部分——它决定了上面每一张图如何被正确解读。
证据等级与未完成项
E2 语义证据 = 0无人类参照标签不宣称市场规模证据等级
全部 51 条需求候选为 E3：有可复算信号关联的设计假设；E2 级语义结论为 0，高置信语义结论为 0。500 条评审清单已生成但无独立参照标签，precision / recall 未完成——不能以单元测试代替分类质量验收。
模板污染
English 有效聚类子样本 16,668 条中精确重复首消息 1,298 条（7.79%）；开放主题含系统指令、摘要评测、安全测试式聚合关键词。该比例仅描述该子样本，不证明模板来源，也不外推全量。两个 seed 的聚类 ARI = 0.387，主题边界尚不稳定。
数据局限
LMSYS 为 2023 年特定演示网站的历史对话，模型与语言分布偏斜；TraceLab 仅覆盖编码 Agent 且脱敏后无法还原失败语义与任务成败。两侧无共同身份，不做跨库 join、供需相减或因果推断。
语义复核
300 条精读中 234 个案例有逐字定位要求（328 项证据），25 个重点案例经第二模型对照：支持 17、不支持 5、不确定 3。同家族模型不是独立人类真值，不能解释成准确率；广义与聚焦目标检查 23/25 项状态不同。
未声称的
没有开发 Agent 原型、没有真实外部写入、没有市场规模 / 付费意愿 / 收益估算、没有虚构任务成功率或货币成本；10+2 个项目为 C 级设计，路线不附周数与薪资承诺。任务出现不证明市场需求，工具被调用不证明任务被成功执行。
08 / 下一步如何使用
选一条主线，做出能被验收的作品
建议从 J01 建立结构 / 证据 / 评测基础，再选 J02 / J03 / J04 或 J05 / J12 完成一个领域或系统闭环，最后用 J10 练习恢复、权限与可观测性。每步：读 2–3 个关联案例 → 写任务规格与未知项 → 实现基础版 → 冻结评测 → 加入故障。
文档 / 专业资料线
J01 字段与证据 → J02 合同边界 / J03 限定来源 → J04 资产交付 + J10 恢复与观测
研发 / 工具执行线
J05 故障与环境 → J12 表格流水线 → J10 状态、故障、资源与追踪
业务事务线
J01 条件抽取 → J07 确认与 mock 事务 → J10 幂等、恢复与人工交接
通用原则
不要为了展示工具数量扩大范围
优先证明：输入材料可读、目标明确、结果可验证、失败能解释、权限能控制、任务可恢复、证据可追溯。具体框架可以替换，工程问题与验收证据应保留。
数据来源与许可
LMSYS-Chat-1M 本地快照（匿名对话，仅聚合统计与定位摘要）；TraceLab（SyFI Lab, University of Washington）公开数据快照，CC BY 4.0，仅执行元数据聚合。原文未发送任何第三方；全部分析在本机离线完成。详细口径见项目 round-01-data-analysis 与 round-02-engineering-map 的 SUMMARY / 报告 / SOURCES。
本页性质
两轮分析结论的知识汇报页。
不构成市场预测、招聘依据或产品承诺。