使用您无需构建的记忆可观察性运行生产代理
您可以在 Datadog 中查看模型调用。您可以在 OpenTelemetry 中查看工具调用。记忆一直是一个黑箱。MemoryLake 提供生产级的记忆可观察性——开箱即用的指标、追踪和访问日志。
问题:记忆在生产代理中一直不透明
您的 APM 工具可以看到模型。它看不到记忆检索。当记忆错误出现时,您没有关于哪些条目返回、它们是如何排名的或原因的遥测。记忆层是生产代理基础设施中最后一个未被观察的层。
MemoryLake 如何提供记忆可观察性
每次检索指标
延迟、命中率、令牌输出、检索计数。
分布式追踪集成
兼容 OpenTelemetry 的追踪。
访问日志
每次读取和写入都有来源记录。
记忆健康仪表板
内置视图用于记忆增长、驱逐和命中率。
永久免费 · 无需信用卡
记忆可观察性如何工作
- 连接 — 使用 MemoryLake 认证您的可观察性堆栈。
- 结构 — 指标和追踪自动流动。
- 重用 — 像其他任何层一样,记忆的仪表板和警报。
之前与之后:生产代理的记忆可观察性
| DIY memory | MemoryLake | |
|---|---|---|
| Memory latency telemetry | None | Per-retrieval |
| Memory access traces | None | OTel-compatible |
| Memory growth alerts | None | Built-in dashboards |
| Per-retrieval debugging | Hard | Memory provenance |
适合谁
需要记忆层遥测以匹配他们在堆栈的每一层上所拥有的内容的运行生产代理的工程和 SRE 团队。
在你自己的账号上跑通这个场景
支付平台团队把六份 runbook 存进共享记忆,值班助手经 MemoryRouter 从中作答。有些调用什么都没挂上,回复里却从不说明:用普通提示词时,模型照样作答(「payment webhook 日志保留 90 天」)。常见的修法是加一句「不知道就回答 'No record.',不要猜」,它能挡住一部分编造,却也把检索落空说成了「No record」,而这句话和「确实没有哪份 runbook 涉及」读起来一模一样。应用能分清两者:每次调用的 prompt token 减去同一调用不带 boundary 时的 token,就是 MemoryRouter 挂上的内容。检索为空时,应用自己检索 runbook,带着那一页再问一次,并标明答案出自哪里。
你会看到
- 六份 runbook 导入 MemoryLake;
search --types document --top-k 1对 8 个有 runbook 可答的问题全部找到对的那份,答案确实在记忆里 - 检查器(
router messages)显示 MemoryRouter 每题挂上了什么:一页 runbook,或者什么都没有 - 十个问题经
router chat --boundary(gpt-4o-mini)各答 3 次,共 6 次运行:普通提示词 180 次中 82 次答对(编造 98 次,全部发生在什么都没挂的调用上);「不要猜」180 次中 100 次(仍编造 49 次;回答「No record」49 次,其中 31 次的问题其实有 runbook 可答);应用检查挂载 token 并在为空时用自己的检索补上,180 次中 177 次,零编造 - 另有
ask子命令(显示单个问题的挂载 token 与答案出处)、每次检索的指标,以及本地 Web 界面
需要: 一个 MemoryLake API key · memorylake CLI · Python 3.9+
运行
git clone https://github.com/memorylake-ai/memorylake-usecases.git cd memorylake-usecases/empty-retrieval-memory export MEMORYLAKE_BASE_URL=https://app.memorylake.cn/openapi/memorylake export MEMORYLAKE_API_KEY=sk-… python3 demo.py # or: python3 web/server.py
看它跑起来 · 真实录制,未剪辑
相关场景
常见问题
支持 OpenTelemetry 吗?
支持 OpenTelemetry 吗?
是的 — 原生 OTel 导出器。
支持 Datadog 吗?
支持 Datadog 吗?
是的 — 支持 Datadog 和主要 APM。
自托管吗?
自托管吗?
是的 — 企业级在您的 VPC 中部署。