MemoryLake
工程与开发人员记忆感知的代理输出评估

在驱动代理输出的记忆中全面评估代理输出

代理评估框架在不知道代理检索了哪些记忆的情况下对输出进行评分。一个不好的输出可能意味着模型不佳、提示不佳或记忆不佳——但评估无法判断。MemoryLake 将每个输出与所使用的记忆关联起来，因此评估实际上能够识别根本原因。

Day 1“代理评估框架在不知道代理检索了哪些记忆的情况下对输出进行评分。一个不好的输出可能意味着模型不佳、提示不佳或记忆不佳——但评估无法判断。MemoryLake”“将每个输出与所使用的记忆关联起来，因此评估实际上能够识别根本原因。”✓ Got it, I will remember.Day 7 — new session“Same task again — can you keep the context?”× Sure — what was the context again?(forgot every detail you taught it)+ MEMORYLAKE LAYERMemory auto-loaded每个输出的记忆来源好坏输出之间的记忆差异针对固定记忆快照的评估SESSION OUTPUT✓ Same prompt, on-brand answerNo re-briefing required.

在驱动代理输出的记忆中全面评估代理输出

免费开始使用

永久免费 · 无需信用卡

问题：没有记忆上下文的代理评估是盲目的

评估框架将 12% 的输出标记为低质量。你不知道是模型失败、提示失败还是检索的记忆失败。没有每次评估的记忆上下文，修复正确的内容就是猜测。

MemoryLake 如何提供记忆感知的评估

每个输出的记忆来源

每个输出的记忆来源

每个评估的输出都与其使用的记忆相关联。

MEMORY好坏输出之间的记忆差异

好坏输出之间的记忆差异

查看哪些记忆访问与质量相关。

MEMORY针对固定记忆快照的评估

针对固定记忆快照的评估

在受控的记忆状态下进行测试。

基于记忆的评估类别

基于记忆的评估类别

将失败归因于检索与生成。

免费开始使用

永久免费 · 无需信用卡

记忆感知评估的工作原理

  1. 连接 — 将 MemoryLake 接入你的评估管道。
  2. 结构 — 每个生成的输出记录所使用的记忆。
  3. 重用 — 评估分析将记忆检索失败与生成失败分开显示。

之前与之后：具有记忆意识的代理评估

DIY memory + evalMemoryLake
Identify retrieval vs generation failuresHardBuilt in
Memory diff between cohortsManualSemantic
Eval against pinned memoryCustomSnapshots
Root cause attributionGuessworkDirect evidence

适合谁

需要正确归因失败以修复正确内容的代理评估管道的工程团队——而当前的评估将记忆视为黑箱。

可运行的 demo约 3 分钟

在你自己的账号上跑通这个场景

一个跑在 MemoryRouter 上的客服助手，用 8 道题评测提示词 v2 是否比 v1 好。同一个调用原样跑三遍，挂上的记忆每次不同，判分随之翻转，「v1 → v2」的结论几乎每次都不一样。给每道题钉一份记忆快照，记忆就不再变：提示词真正的影响每次都能看到，每个错答也都能说出原因。

你会看到

  • 一个项目放 60 条客服知识、一个 boundary；每次评测调用都是 router chat --boundary（gpt-4o-mini，temperature 0），按正确答案必须说出的事实判分
  • 经 MemoryRouter 做 A/A：三次完全相同的调用，88 个题次里 71 个挂上的记忆量（prompt tokens）不同、33 个判分变了；回复从不说明用了哪些记忆。「v2 改坏 / 改好了哪些题」11 次跑出 10 种说法
  • 钉快照：每道题 search --types fact --top-k 8 一次，存下事实 id 与原文，之后每个提示词都对同一份快照跑（router chat --body，不带 boundary）。记忆 88/88 一致，A/A 翻转 7/88（模型自身的噪声），v2 真正的退步（漏掉 break-glass 账号这一步）11 次全部抓到
  • 对快照的每个错答都能归因：判分要的事实不在快照里（检索失败，如「自动建删账号」永远检索不到 SCIM 那条），或在快照里但答案漏了（生成失败）。附 snapshot / replay 子命令与本地 Web 界面

需要: 一个 MemoryLake API key · memorylake CLI · Python 3.9+

运行

git clone https://github.com/memorylake-ai/memorylake-usecases.git
cd memorylake-usecases/agent-eval-memory
export MEMORYLAKE_BASE_URL=https://app.memorylake.cn/openapi/memorylake
export MEMORYLAKE_API_KEY=sk-…
python3 demo.py          # or: python3 web/server.py
在 GitHub 上打开阅读完整说明

看它跑起来 · 真实录制，未剪辑

CLI 演示4:32Web 演示4:39

相关场景

Engineering & Developer用于代理测试的记忆快照Testing agents requires controllable memory state. MemoryLake provides memory snapshots agents can be tested against. Free to get started.
Engineering & DeveloperA/B 测试代理记忆策略Comparing agent memory strategies needs controlled experiments. MemoryLake provides branched memory for A/B testing. Free to get started.
Engineering & Developer跨代理架构的记忆基准测试Comparing memory strategies across agent architectures needs controlled benchmarks. MemoryLake provides the substrate. Free to get started.

常见问题

评估框架集成？

RAGAS、OpenAI Evals、LangSmith、自定义——全部支持。

基于记忆的评估类别？

检索召回、检索精度、冲突显现、来源准确性。

自托管？

是的——企业级在你的 VPC 中部署。

全部场景免费开始使用