无提示
观察默认的记忆表现
- 会话 A · 提供信息
- 提供原始对话，不要求保存记忆。
- 会话 B · 提出问题
- 直接提问，不要求检索记忆。
METHOD / MEMORY
跨会话记忆评测方法
在会话 A 中提供信息，重启后在会话 B 中提问。用两条测试轨道，区分 Agent 默认的记忆表现与明确提醒后的表现。
COMPARISON
双轨对照
只改变是否提醒使用记忆。
两条轨道分别记录、分别呈现。
有提示
观察明确提醒后的记忆表现
- 会话 A · 提供信息
- 提供相同对话，增加通用的持久记忆提示。
- 会话 B · 提出问题
- 提出相同问题，提醒先检索持久记忆。
- 共同条件
- 同一组题、同一模型、同一运行环境、同一评分规则。
- 提示边界
- 不透露工具名、答案或历史会话 ID。
PROCEDURE
单题执行流程
每道题独立完成六个步骤。关键是跨过真实的重启边界，再检查信息能否被找回。
在原会话里答对，
不等于跨会话记住。
清理环境
清空测试工作区，移除上一题留下的文件、会话和临时状态。
会话 A：提供信息
向 Agent 提供原始对话。两条轨道仅在是否提醒使用记忆上不同。
关闭并重启 DSH
跨会话边界正常关闭，等待记忆写入和进程退出，再重新启动。不是在原进程中直接新建会话。
会话 B：提出问题
在新会话中提出同一道题，不提供答案、工具名或历史会话 ID。
确定性判分
答案命中标准答案，或覆盖全部必需信息才算通过；不使用 LLM 评分。
记录与复查
保存结果、延迟、Token、失败与限制，并输出脱敏数据快照。
SCORING
判分与统计口径
使用预先定义的答案与规则，
不使用 LLM 评分。
怎样才算通过
命中标准答案，或完整覆盖题目要求的全部必需信息，才记为通过。
- 正确率
- 通过题数 ÷ 有效题数
- 平均耗时
- 每题有效执行时间，超时按上限计
- 输入 Token
- 每题平均输入量，包含缓存读取
- 评测故障
- 框架或处理器失败，单独记录，不混入能力分
EVIDENCE
随结果公开的证据
报告说明条件、结果与限制。
公开数据采用脱敏快照。
- 对象
- Agent、插件及版本
- 环境
- DSH、模型、运行配置
- 任务
- 题集、轨道与评分规则
- 过程
- 执行记录、错误与重启状态
- 结果
- 正确率、延迟、Token
- 边界
- 失败、限制与复测状态