题型与评估口径
SF / R1、R3：短事实检索，使用确定性规则与私有金标；金标不公开。
LF / R6、R7：长报告研究，结合交付物检查、来源检查及 Judge。
PRODUCT / R10：从 R6 派生产品诊断，不追加一轮独立研究。
V12 组合补跑后的 R3 与已验证旧记录。每条记录包含复用标记与匿名来源指纹。
FROZEN RUN RESULTS / PUBLIC EXPORT
Deep Research 插件榜单
C0 原生基线与 7 个插件的实际运行结果。40 条记录、4 个独立题面、5 个测评项；数据脱敏不改变原始分数和排名。
参评插件7
包含基线的条件8
已发布记录40
可评分记录40
累计观测 Token1,399,068
插件排名 · 原评分规则不变
准入 → 编造 → LF PASS/PARTIAL → 引用忠实度 → SF PASS → 恢复 → 负增量 → 效率。C0 单独展示，不参与插件排名；没有额外合成加权总分。
| 排名 | 条件 / 插件 | 状态分布 | SF 通过 | LF 通过 | 引用忠实度 | 平均延时 | 平均 Token |
|---|---|---|---|---|---|---|---|
| C0 | DSH 原生基线C0 | 2 通过 · 2 部分 · 1 失败 | 1/2 | 0/22 部分完成 | 66.7% | 7.1 min | 33,309.8 |
| 1 | dsh-search-boostP5 | 4 通过 · 1 部分 · 0 失败 | 2/2 | 1/21 部分完成 | 83.3% | 5.6 min | 34,550.5 |
| 2 | dsh-deep-researchP4 | 3 通过 · 2 部分 · 0 失败 | 2/2 | 0/22 部分完成 | 83.3% | 6.1 min | 47,201.8 |
| 3 | hanai-investment-dshP1 | 3 通过 · 2 部分 · 0 失败 | 2/2 | 0/22 部分完成 | 75% | 4.4 min | 38,700 |
| 4 | dsh-science-workbenchP8 | 2 通过 · 2 部分 · 1 失败 | 1/2 | 0/22 部分完成 | 75% | 6.8 min | 50,010.8 |
| 5 | dsh-scholarP3 | 2 通过 · 2 部分 · 1 失败 | 1/2 | 0/22 部分完成 | 75% | 29.3 min | 44,496.8 |
| 6 | dsh-deepresearchP6 | 1 通过 · 2 部分 · 2 失败 | 0/2 | 0/22 部分完成 | 75% | 7.2 min | 42,135.3 |
| 7 | dsh-scienceP2 | 2 通过 · 2 部分 · 1 失败 | 1/2 | 0/22 部分完成 | 66.7% | 3.7 min | 59,362.3 |
每个条件的题目结果
| 条件 | R1 | R3 | R6 | R7 | R10 · 派生 |
|---|---|---|---|---|---|
| C0 · DSH 原生基线 | |||||
| P5 · dsh-search-boost | |||||
| P4 · dsh-deep-research | |||||
| P1 · hanai-investment-dsh | |||||
| P8 · dsh-science-workbench | |||||
| P3 · dsh-scholar | |||||
| P6 · dsh-deepresearch | |||||
| P2 · dsh-science |
运行指标明细
异常计数是日志文本规则的命中次数，可能重复或误命中，不应解读为独立故障数。R10 的 Token/耗时为 null，表示派生项未独立运行。
40 / 40 条
| 插件 / 查看详情 | 测评项 | 状态 | 延时 | Token | 工具 | 搜索 | 重复查询 | 可打开 / 检查 URL | 错误命中 | 重试命中 | 整题尝试 | 保护触发 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| R1SF | PASS | 1.5 min | 1,894 | 22 | 2 | 0 | 18 / 20发现 32 | 34文本命中 | 2 | 1 | 未触发 | |
| R3SF | FAIL | 3.2 min | 7,243 | 30 | 13 | 0 | 0 / 0发现 87 | 6文本命中 | 2 | 1 | SEARCH_BUDGET_EXCEEDED | |
| R6LF | PARTIAL | 17.4 min | 57,588 | 105 | 20 | 0 | 13 / 20发现 614 | 313文本命中 | 44 | 1 | 未触发 | |
| R7LF | PARTIAL | 6.4 min | 66,514 | 107 | 17 | 0 | 16 / 20发现 258 | 153文本命中 | 14 | 1 | RESEARCH_TOOL_BUDGET_EXCEEDED | |
| R10PRODUCT · 派生 | PASS | — | — | 0 | 0 | 0 | 0 / 0发现 0 | 0文本命中 | 0 | — | 未触发 | |
| R1SF | PASS | 1.9 min | 2,040 | 18 | 3 | 0 | 17 / 20发现 31 | 22文本命中 | 2 | 1 | 未触发 | |
| R3SF | PASS | 0.7 min | 6,941 | 7 | 2 | 0 | 10 / 20发现 29 | 6文本命中 | 2 | 1 | 未触发 | |
| R6LF | PARTIAL | 6.1 min | 45,094 | 42 | 15 | 0 | 15 / 20发现 181 | 26文本命中 | 10 | 1 | 未触发 | |
| R7LF | PARTIAL | 9 min | 100,725 | 40 | 19 | 0 | 17 / 20发现 253 | 7文本命中 | 11 | 1 | 未触发 | |
| R10PRODUCT · 派生 | PASS | — | — | 0 | 0 | 0 | 0 / 0发现 0 | 0文本命中 | 0 | — | 未触发 | |
| R1SF | FAIL | 2.8 min | 14,442 | 44 | 3 | 0 | 0 / 0发现 51 | 6文本命中 | 2 | 1 | RESEARCH_TOOL_BUDGET_EXCEEDED | |
| R3SF | PASS | 1.5 min | 6,804 | 17 | 4 | 0 | 5 / 20发现 44 | 9文本命中 | 2 | 1 | 未触发 | |
| R6LF | PARTIAL | 5 min | 97,507 | 44 | 21 | 0 | 11 / 20发现 202 | 9文本命中 | 12 | 1 | 未触发 | |
| R7LF | PARTIAL | 5.4 min | 118,696 | 118 | 25 | 0 | 14 / 20发现 370 | 141文本命中 | 22 | 1 | SEARCH_BUDGET_EXCEEDED | |
| R10PRODUCT · 派生 | PASS | — | — | 0 | 0 | 0 | 0 / 0发现 0 | 0文本命中 | 0 | — | 未触发 | |
| R1SF | PASS | 2.7 min | 9,080 | 27 | 4 | 0 | 18 / 20发现 38 | 30文本命中 | 2 | 1 | 未触发 | |
| R3SF | FAIL | 90.6 min | 6,729 | 10 | 8 | 0 | 0 / 0发现 41 | 11文本命中 | 2 | 1 | NO_PROGRESS_TIMEOUT | |
| R6LF | PARTIAL | 5.3 min | 72,805 | 56 | 20 | 0 | 12 / 20发现 173 | 22文本命中 | 13 | 1 | 未触发 | |
| R7LF | PARTIAL | 18.6 min | 89,373 | 69 | 20 | 0 | 15 / 20发现 264 | 147文本命中 | 21 | 1 | 未触发 | |
| R10PRODUCT · 派生 | PASS | — | — | 0 | 0 | 0 | 0 / 0发现 0 | 0文本命中 | 0 | — | 未触发 | |
| R1SF | PASS | 2.5 min | 9,278 | 24 | 5 | 0 | 18 / 20发现 51 | 10文本命中 | 2 | 1 | 未触发 | |
| R3SF | PASS | 2.2 min | 6,971 | 18 | 5 | 0 | 8 / 20发现 50 | 34文本命中 | 8 | 1 | 未触发 | |
| R6LF | PARTIAL | 5.8 min | 85,065 | 45 | 20 | 0 | 12 / 20发现 247 | 102文本命中 | 10 | 1 | 未触发 | |
| R7LF | PARTIAL | 14 min | 87,493 | 92 | 16 | 0 | 13 / 20发现 318 | 204文本命中 | 15 | 1 | 未触发 | |
| R10PRODUCT · 派生 | PASS | — | — | 0 | 0 | 0 | 0 / 0发现 0 | 0文本命中 | 0 | — | 未触发 | |
| R1SF | PASS | 4.3 min | 4,116 | 41 | 3 | 0 | 17 / 20发现 42 | 28文本命中 | 5 | 1 | 未触发 | |
| R3SF | PASS | 2.5 min | 7,131 | 23 | 4 | 0 | 10 / 20发现 37 | 67文本命中 | 4 | 1 | 未触发 | |
| R6LF | PARTIAL | 5.2 min | 27,238 | 56 | 20 | 0 | 15 / 20发现 227 | 163文本命中 | 28 | 1 | 未触发 | |
| R7LF | PASS | 10.3 min | 99,717 | 61 | 20 | 0 | 19 / 20发现 165 | 85文本命中 | 32 | 1 | 未触发 | |
| R10PRODUCT · 派生 | PASS | — | — | 0 | 0 | 0 | 0 / 0发现 0 | 0文本命中 | 0 | — | 未触发 | |
| R1SF | FAIL | 3.4 min | 3,127 | 23 | 1 | 0 | 0 / 0发现 25 | 36文本命中 | 2 | 1 | NO_PROGRESS_TIMEOUT | |
| R3SF | FAIL | 9.4 min | 7,525 | 49 | 13 | 0 | 0 / 0发现 226 | 76文本命中 | 2 | 1 | SEARCH_BUDGET_EXCEEDED | |
| R6LF | PARTIAL | 6.7 min | 61,173 | 80 | 16 | 0 | 12 / 20发现 207 | 48文本命中 | 13 | 1 | 未触发 | |
| R7LF | PARTIAL | 9.4 min | 96,716 | 102 | 17 | 0 | 12 / 20发现 360 | 31文本命中 | 41 | 1 | RESEARCH_TOOL_BUDGET_EXCEEDED | |
| R10PRODUCT · 派生 | PASS | — | — | 0 | 0 | 0 | 0 / 0发现 0 | 0文本命中 | 0 | — | 未触发 | |
| R1SF | PASS | 1.5 min | 3,861 | 19 | 3 | 0 | 18 / 20发现 41 | 14文本命中 | 2 | 1 | 未触发 | |
| R3SF | FAIL | 7.8 min | 8,382 | 54 | 13 | 0 | 0 / 0发现 188 | 70文本命中 | 8 | 1 | SEARCH_BUDGET_EXCEEDED | |
| R6LF | PARTIAL | 10.9 min | 91,218 | 59 | 20 | 0 | 11 / 20发现 255 | 79文本命中 | 24 | 1 | 未触发 | |
| R7LF | PARTIAL | 7 min | 96,582 | 43 | 18 | 0 | 14 / 20发现 260 | 9文本命中 | 10 | 1 | 未触发 | |
| R10PRODUCT · 派生 | PASS | — | — | 0 | 0 | 0 | 0 / 0发现 0 | 0文本命中 | 0 | — | 未触发 |
单条公开过程账
选择上方的插件记录或题目单元格，查看全部公开字段。
尚未选择记录。
评分与数据安全边界
公开字段与删减说明
- 仅发布 V12 最终选择的 40 条记录：C0 加 7 个插件，每个条件 5 个测评项；不包含全部历史失败批次。
- R1/R3 为短事实，R6/R7 为长报告，R10 由 R6 派生，不是第五次独立模型执行；缺失资源值保留 null，不改成零。
- 移除题面、gold、回答正文、工具参数及返回正文、异常消息、Judge 理由、证据摘录、文件内容与路径、完整 URL 和查询词。
- 来源及产物仅保留匿名编号和数值/布尔元数据；原始 run ID 用不含内容信息的来源指纹代替。
- 错误、超时、重试、Fallback、人工介入计数为原评测器文本规则命中次数，不等同于独立故障或真人操作次数。
- Token 和耗时沿用原始账本及既有汇总口径，不代表包含全部已丢弃尝试和 Judge 的供应商账单总量。
- 本发布是既有数据的脱敏导出；未重跑评测、未调用模型、未修改分数或排名。