在生产规模下将代理记忆成本降低 10-100 倍
生产代理成本与两个因素相关：模型调用和记忆基础设施。当团队将历史信息塞入提示时，这两者都会膨胀。MemoryLake 通过用紧凑的结构化检索替换塞满的历史，将记忆驱动的推理成本在规模化时降低 10-100 倍。
问题：代理成本增长速度快于使用量
一个拥有一个月历史的用户，其服务成本是新用户的 5 倍。到第六个月，这一比例达到 25 倍。塞满历史导致的令牌膨胀与使用量线性增加，但推动了非线性的成本增长。
MemoryLake 如何优化代理记忆成本
紧凑检索胜过塞满历史
提取几百个相关记忆的令牌，而不是数万个历史记录。
类型化记忆优于摘要链
在较低的令牌成本下更准确。
提示缓存兼容性
检索的块可以插入可缓存的系统消息中。
分层保留
热记忆快速检索；冷存档成本低。
永久免费 · 无需信用卡
如何实现成本优化的代理记忆
- 连接 — 用 MemoryLake 检索替换历史填充。
- 结构 — 记忆按适当的保留层级进行类型化写入。
- 重用 — 每次检索提取一个令牌预算块。
前后对比：代理记忆成本规模化
| Stuffed history | MemoryLake | |
|---|---|---|
| Token cost per long-history call | 30K+ | <2K |
| Prompt cache hit rate | Drops with history | Maintained |
| Cost per user-month | Inflates | Flat |
| Storage cost at scale | High | Tiered |
适合谁
工程领导者关注代理应用的每用户成本增长速度快于每用户收入，并寻找结构性解决方案，而不是限流。
在你自己的账号上跑通这个场景
Tessavane Freight 的客服助手每次请求都带同一份约 1,300 token 的处理手册，再加上它对提问客户的记忆。每次运行 12 个问题，走四种拼 prompt 的方式：工单历史贴在最前、memorylake search 取 top-5 事实放在手册前面、同样的事实放在手册后面、只给手册由 MemoryRouter 挂记忆。provider 的 cached_tokens 经 MemoryRouter 原样返回。6 次运行里，记忆放前面和放后面在 72/72 个问题上发出的 token 数完全相同、正确率一样，但放后面的 70/72 次读到了 prompt 缓存，放前面的只有在几分钟前发过逐字相同请求时才命中（新请求 0/58）。按账号自己的 router models 价目表计：每百万次调用 202 对 134 美元，MemoryRouter 130 美元。
你会看到
- 同样的记忆、四种 prompt：历史贴在最前；
memorylake search --top-k 5放在手册前面；同一块放在手册后面；memorylake router chat --boundary只带手册 - 每次调用打印 provider 的
usage.prompt_tokens_details.cached_tokens，按memorylake router models（input、cache_read、output）计价；gpt-4o-mini 的缓存 token 半价 - 本地记录每个 prompt 的开头，给每次命中标注来源：记忆放前面，只有几分钟前同一问题检索到同一组事实时才命中
ask <n>把一个问题依次发给四种拼法、连发两次，facts列出项目里每位客户的记忆，另有本地 Web 界面
需要: 一个 MemoryLake API key · memorylake CLI · Python 3.9+
运行
git clone https://github.com/memorylake-ai/memorylake-usecases.git cd memorylake-usecases/prompt-cache-memory export MEMORYLAKE_BASE_URL=https://app.memorylake.cn/openapi/memorylake export MEMORYLAKE_API_KEY=sk-… python3 demo.py # or: python3 web/server.py
看它跑起来 · 真实录制，未剪辑
相关场景
常见问题
成本降低的典型范围？
成本降低的典型范围？
令牌成本降低 10-100 倍；根据用例而异。
存储成本透明度？
存储成本透明度？
基于容量的分层保留定价。
自托管？
自托管？
是的 — 企业级在您的 VPC 中部署。