AI 为什么每天醒来都不认识你——Engram 的学习型记忆豪赌

想象一个厨师：他读过你的全部菜谱，也能在几秒内翻完厨房的每一本手册，但每天夜里，他关于火候、手感、客人口味和昨日失误的记忆都会被清空。第二天，他仍然能“回答”一道菜该怎么做，却无法真正成为更懂你的厨师。

这就是 Engram 首席执行官 Dan Biderman 对当代 AI 的核心不满。Latent Space 的这场访谈讨论的不是给聊天机器人再加一层向量数据库，而是一个更激进的问题：能不能让模型把长期、重复出现的经验真正学进参数，同时又保留原始资料和当前上下文？换句话说，AI 能否不只是检索过去，而是像人一样因过去而改变。

Engram 在访谈前约三周正式亮相，宣布获得 9800 万美元融资，投资方包括 General Catalyst、Kleiner Perkins 和 Sequoia，并公布 Microsoft、Notion、Harvey 等早期合作伙伴。这个阵容证明了问题足够重要，也证明了资本愿意下注；它并不证明技术路线已经胜出。整场访谈最值得保留的，恰好是愿景与可证伪条件之间的张力。

要点速览

1. 上下文窗口是工作台，不是长期记忆。 把更多资料塞进 prompt，只是让模型在一次任务里看见更多，不等于它形成了稳定、可迁移的经验。
2. 真正有用的系统需要三层账本。 原始资料负责可追溯，上下文负责当前任务，学习型记忆负责把反复出现的规律压缩进模型。
3. Engram 的技术赌注是“上下文蒸馏”。 模型先自学历史资料，再把中间状态保存为可加载的 Cartridges，减少反复阅读长文本的成本。
4. 论文指标令人关注，但不能被营销数字替代。 Cartridges 论文报告在特定实验中最高 38.6 倍内存效率、26.4 倍吞吐提升，并把 128K 上下文任务扩展到 484K；这不等于所有业务都已经获得“1000 倍”收益。
5. 企业是比个人助手更现实的首发市场。 企业有重复查询、稳定权限和明确成本，可以计算“反复读同一批资料”的税。
6. 模型学会之后，治理比存储更难。 删除、纠错、权限撤销、审计、迁移和灾难性遗忘，都会从数据问题变成模型行为问题。
7. 终局可能不是“一个助手”，而是“属于你的模型”。 它持续学习你的偏好和工作方式，但只有当所有权、可控性和遗忘机制成立时，这个愿景才值得接受。

一、海军教会他的，不是服从，而是承担

Biderman 的职业路径并不典型。他先在以色列海军服役，后来转向神经科学，再进入机器学习研究。他把海军经历浓缩为一个词：responsibility——不仅完成命令，还要为系统最后是否工作负责。

这解释了 Engram 的问题意识。传统研究很容易把“记忆”缩成一个 benchmark：在长文本里能否找回某个事实，或回答一条藏在中间的信息。但一个真正负责的产品不能止于命中率。它必须回答：记忆从哪里来？何时更新？错误如何撤销？权限变化后如何保证模型不再使用旧信息？旧版本能否恢复？不同模型升级后是否兼容？

他在神经科学阶段看到的另一件事，是生物记忆并非把世界逐帧保存。大脑会选择、压缩、重组，也会遗忘。后来与 Stanford 教授 Chris Ré 合作，他又把问题转成工程语言：如果模型反复读取相同内容，能否把计算从每次推理时搬到一次学习阶段，以更少的资源完成更多工作？

这两条线最终合流：记忆不是容量竞赛，而是责任与效率共同约束下的学习系统。

二、上下文窗口再长，也只是更大的桌面

今天最常见的“AI 记忆”方案，是把聊天记录、公司文档和用户资料重新塞回上下文。它确实有效，但本质上仍是 open-book exam：模型每次考试都重新翻书。

访谈用 Harvey 的并购分析举例。一笔交易进行数周甚至数月，律师不断加入材料、批注和判断。若每次询问都必须把全部历史重新交给模型，成本随项目累积，且模型未必能稳定关注真正关键的部分。上下文越长，工程问题并不会自动消失：

• 首 token 延迟增加，推理成本上升；
• 信息位于长文中部时，模型可能忽略它；
• 多轮摘要会造成不可逆的信息损失；
• 权限和版本变化使“该塞哪些资料”越来越复杂；
• 长窗口 benchmark 的通过，不等于真实工作流里的可靠推理。

RULER 与 *Lost in the Middle* 等研究分别说明了两个事实：不同模型的“有效上下文长度”常低于标称长度；相关信息的位置会显著影响模型使用它的能力。因此，把窗口从 128K 扩到 1M，并没有把记忆问题变成纯粹的存储问题。更大的桌面仍然可能堆满文件，而且每次上班都要重新摆一遍。

三、厨师既需要菜谱，也需要手感

最清楚的框架不是“检索还是训练”二选一，而是三层账本：

厨师需要菜谱，因为精确配方和过敏信息不能靠模糊记忆；也需要工作台，因为今天正在做哪道菜必须清楚；更需要长期形成的手感，因为每一次切菜、控温和调味都不该从零开始。

因此，Engram 真正有价值的方向不是消灭 RAG，也不是把所有历史永久写入参数，而是让三层各司其职：事实回到原始证据，当前任务留在上下文，稳定且高频的模式进入学习型记忆。任何一层独大都会失败。

四、Cartridges：把“反复阅读”变成“一次学习”

Engram 的技术基础来自论文 *Cartridges: Lightweight and general-purpose long context representations via self-study*。核心步骤可以简化为：

1. 让模型对一批长资料进行自学，而不是等待具体问题出现；
2. 把自学产生的中间知识状态保存为轻量、可加载的 Cartridge；
3. 查询时加载 Cartridge，再处理较短的即时问题；
4. 原始资料仍被保留，需要引用和审计时可以回到 source of truth。

这是一种“预付计算”：过去每次查询都要重新读取的长上下文，被搬到离线学习阶段。论文在特定设置下报告，相比完整 KV cache，Cartridges 可减少最高 38.6 倍内存占用，并带来最高 26.4 倍吞吐提升；在其测试中，还把原本 128K 的模型扩展到处理 484K token 的任务。

这些数字值得重视，但必须守住边界。论文 benchmark、公司产品口径和客户生产收益是三种不同证据。Engram 官方称部分场景只需读取原始 token 的 1%–10%，某些工作流最高可获得 100 倍效率改善；Notion 的合作表述则提到数量级改善。它们说明潜力，不应直接外推成任何企业都能得到固定倍率，更不能把访谈中的“1000 倍”愿景写成已验证事实。

真正要问的不是峰值数字多漂亮，而是端到端成本：训练 Cartridge 花多少计算？多久需要更新？加载和路由增加多少延迟？错误记忆如何回滚？模型版本变化后能否复用？只有把这些算进去，“预付计算”才可能变成稳定的经济优势。

五、为什么 Engram 先攻企业

企业记忆的吸引力在于，它有大量重复且可计量的读取。法律团队反复阅读交易文件，客服系统反复读取产品政策，研发助手反复加载代码库，销售系统反复拼装客户历史。Biderman 预计，头部企业未来可能在 18 个月内累计产生万亿级 token 的内部上下文；访谈还提到 Harvey 某些请求可能消耗数千美元，但这类具体数字缺乏公开、可复核的成本拆分，只能作为受访者口径。

若学习型记忆成立，企业可以把这些成本从每次推理转移到周期性学习。但新问题会立刻出现：

• 不同客户、部门和项目需要不同 Cartridge，规模可能达到数百万；
• GPU 的 HBM 很贵，而 Cartridge 可能需要在磁盘、CPU 内存与 GPU 之间快速调度；
• 权限不能只停留在文档层，加载哪份记忆也必须受身份和任务约束；
• 新事实加入后，要判断增量更新还是重训；
• 旧政策被撤销时，系统必须证明旧行为已失效；
• 多个 Cartridge 同时加载时，冲突如何解决？

所以 Engram 最终要构建的不只是一个记忆算法，而是一套模型外部的基础设施：索引、路由、缓存、版本、审计、权限、监控和回滚。算法创造可能性，基础设施决定它能否进入生产。

六、最终产品也许不是助手，而是“你的模型”

访谈最有想象力的部分，是 Biderman 对个人模型的描述：未来的 AI 不只是调用一个公共模型并附带个人资料，而可能拥有属于你的、持续演化的参数状态。它知道你过去做过什么、偏好怎样的表达、在哪些判断上经常出错，也能从反馈中改变。

这像一种高风险版的 Tamagotchi：你每天的输入都在塑造它，久而久之，它不再只是“会访问你的数据”，而是“因你的数据而成为另一个模型”。这种黏性会远高于今天的聊天历史，也会制造更强的锁定。

如果这个产品真的出现，最低限度需要回答：

1. 所有权：模型状态属于用户、雇主还是平台？
2. 可迁移性：更换供应商时，个人记忆能否导出并被其他模型读取？
3. 可删除性：删除一段历史，是删除原文、索引，还是连参数影响也要消除？
4. 可纠错性：模型学到错误偏好后，用户如何定位并修正？
5. 权限继承：过去有权看到、现在无权看到的信息，是否仍残留在行为中？
6. 遗忘与稳定性：新学习会不会破坏旧能力，或让模型越来越迎合用户？

个人模型的真正门槛不是“记得更多”，而是能否在持续学习的同时保持边界。没有可验证的遗忘，就没有可信的长期记忆。

代表性短摘

“每一次都是第一次。”——对当代 AI 无法积累经验的概括

好厨师既需要菜谱，也需要已经进入神经系统的手感。

目标不是无限增加计算，而是用更少做更多。

这些话最有价值的地方，不是修辞，而是共同指向一个判断：记忆并非把过去全部搬到现在，而是决定哪些东西应当成为未来行为的一部分。

证据分层：哪些已经成立，哪些仍是赌注

• 论文直接支持：Cartridges 的实验设计及 38.6 倍内存效率、26.4 倍吞吐、128K 到 484K 等特定 benchmark 结果。
• 官方可核实事实：Engram 的融资、创始团队、早期合作伙伴和公开产品定位。
• 公司或合作方口径：1%–10% token、最高 100 倍、数量级改善等生产叙述，需要更多独立复现和长期数据。
• 访谈愿景：万亿 token、个人模型、“1000 倍”效率和大规模持续学习，是方向判断，不是已经完成的产品能力。

这一区分非常重要。融资证明资源，合作证明需求，论文证明局部机制可行；三者加在一起，仍然不等于可审计、可删除、跨模型兼容的企业级记忆已经解决。

最后：记忆不是更大的仓库，而是更好的取舍

Engram 的赌注之所以值得关注，不是因为它给 AI 增加了一个名为 memory 的产品功能，而是它试图改变计算发生的位置：从每一次查询重新阅读，变成对高频历史进行一次学习，再在需要时加载。

但这条路最后不能只用“记住了多少”来评估。真正的计分卡应包括：

• 准确率是否稳定提高，而不是只在精选 benchmark 上提升；
• 首 token 延迟、训练成本、推理成本和存储成本的总和是否下降；
• 新知识能否快速更新，旧知识能否被证明已经失效；
• 权限是否贯穿资料、Cartridge、路由和模型行为；
• 模型升级后记忆是否兼容，失败时能否回滚；
• 长期学习是否引发漂移、过度个性化或灾难性遗忘；
• 用户能否导出、迁移并真正删除属于自己的记忆。

上下文窗口回答“模型现在能看到什么”，学习型记忆回答“过去如何改变模型”。后一个问题更接近智能，也更接近权力。未来最可信的 AI，不会是那个声称永远不会忘记的系统，而是那个能解释为何记住、可以纠正记错、并能证明已经忘掉不该保留之物的系统。

参考资料

• 原视频：Building AI that learns continuously — Engram / Latent Space
• Engram 官方融资与发布公告
• Cartridges 论文
• RULER：评估长上下文模型真实能力
• Lost in the Middle

整理说明：本文基于视频完整英文自动字幕重构，并以论文、公司公告和相关研究交叉核验。访谈中的预测、产品口径与已发表研究结果已尽量分层标注。