MemoryLake
工程与开发者A/B 测试代理记忆策略

在代理记忆策略上进行真实的 A/B 测试 — 而不是感觉比较

您想知道反思记忆是否有效，较长的保留是否有帮助，是否有不同的检索策略表现更好。没有控制实验，每个决定都是凭感觉。MemoryLake 提供分支记忆用于 A/B 测试 — 相同用户，不同记忆策略，可测量的结果。

Day 1“您想知道反思记忆是否有效，较长的保留是否有帮助，是否有不同的检索策略表现更好。没有控制实验，每个决定都是凭感觉。MemoryLake”“提供分支记忆用于 A/B 测试 —…”✓ Got it, I will remember.Day 7 — new session“Same task again — can you keep the context?”× Sure — what was the context again?(forgot every detail you taught it)+ MEMORYLAKE LAYERMemory auto-loaded每个队列的分支记忆每个队列的检索规则通过记忆差异进行结果归因SESSION OUTPUT✓ Same prompt, on-brand answerNo re-briefing required.

在代理记忆策略上进行真实的 A/B 测试 — 而不是感觉比较

免费开始使用

永久免费 · 无需信用卡

问题：代理记忆决策通常没有证据

您应该增加保留吗？切换检索排名？添加反思记忆？大多数团队将更改推送给所有用户，并寄希望于最佳结果。没有对照组意味着没有真实的测量。

MemoryLake 如何支持记忆 A/B 测试

每个队列的分支记忆

每个队列的分支记忆

队列 A 使用策略 1；队列 B 使用策略 2；其他用户相同。

MEMORY每个队列的检索规则

每个队列的检索规则

每个队列不同的记忆类型、保留或排名。

MEMORY通过记忆差异进行结果归因

通过记忆差异进行结果归因

测量队列之间的变化。

将获胜的分支推广到主分支

将获胜的分支推广到主分支

全面审核后推出获胜者。

免费开始使用

永久免费 · 无需信用卡

记忆 A/B 测试的工作原理

  1. 连接 — 在工作区定义队列。
  2. 结构 — 每个队列使用具有不同规则的记忆分支。
  3. 重用 — 测量每个队列的代理结果；合并获胜分支。

之前与之后：代理记忆策略决策

DIY memoryMemoryLake
Comparing memory strategiesVibesReal A/B test
Per-cohort memory rulesHardNative branches
Outcome attributionLimitedMemory diff
Rollout of winning strategyManual migrationMerge branch

适合谁

希望基于证据的记忆策略决策的产品和工程团队，而不是“我们尝试过，感觉更好。”

可运行的 demo约 5 分钟

在你自己的账号上跑通这个场景

给发布助手的四种记忆策略做 A/B 测试，同一批回答用两种评分器各评一遍。平台组四次站会做了八个带条件的决定，其中三个（staging 演练、客户端迁移、成本评审）之后再没人提起，记忆里没有任何关于结果的事实，无论成败。助手常答「No，staging 演练没有通过」：结论对了，理由却没人记录过。只看结论的评分器把它算作赢；看依据的评分器不算，两者选出的赢家不同。

你会看到

  • 四段 GROUP 会话依次写入；抽取出的事实复制成两个分支（fact list → fact add），各组只差被测策略本身。发布助手经 router chat --boundary 回答八道以 Yes / No / Unknown 开头的问题，每题 3 次，分四组
  • 6 次运行：应用写的条件核查（「没有满足的记录」）结论全对（138 / 138），有依据的只有 93 / 138——在三个静默过期的条件上，模型在 54 次回答里有 45 次把「没有记录」写成「演练没有通过」
  • 谨慎的系统提示词：按结论 118 / 130，按依据 94 / 130。只改三条过期核查的措辞为「无论成败都没有记录；不要说它发生了，也不要说它没发生」：按结论 138 / 138，按依据 138 / 138
  • 有依据评分器先去掉「没有……的记录」类短语和复述的条件，再查回答是否断言了该组记忆里没有的结果；评分前先用写好的正反例核对。另有 memory、ask 子命令和本地网页版

需要: 一个 MemoryLake API key · memorylake CLI · Python 3.9+

运行

git clone https://github.com/memorylake-ai/memorylake-usecases.git
cd memorylake-usecases/no-record-memory
export MEMORYLAKE_BASE_URL=https://app.memorylake.cn/openapi/memorylake
export MEMORYLAKE_API_KEY=sk-…
python3 demo.py          # or: python3 web/server.py
在 GitHub 上打开阅读完整说明

看它跑起来 · 真实录制，未剪辑

CLI 演示6:15Web 演示7:25

相关场景

Engineering & Developer代理测试的记忆快照Testing agents requires controllable memory state. MemoryLake provides memory snapshots agents can be tested against. Free to get started.
Engineering & Developer跨代理架构的记忆基准测试Comparing memory strategies across agent architectures needs controlled benchmarks. MemoryLake provides the substrate. Free to get started.
Engineering & Developer面向代理输出的记忆感知评估Evaluating agent outputs without memory context misses why outputs failed. MemoryLake links eval results to retrieved memory. Free to get started.

常见问题

统计显著性工具？

记忆差异与标准 A/B 分析框架集成。

队列大小？

可配置；支持逐步推出。

自托管？

是的 — 企业级在您的 VPC 中部署。

全部场景免费开始使用