论文精读 | Delta Mem

零、写在前面

如果按照 Memory in the Age of AI Agents 这篇工作的分类方式，δ-Mem 从功能上划分应该属于 Working/Experiential Memory，从形式上划分应该属于 Latent Memory。作者没有像去年大部分工作那样，加一个外挂的 Memory Manager 然后去做记忆的curd，而是像 Lora 那样，用一个低维矩阵维护在线记忆，当新信息来了，它只把“旧记忆预测错的那部分残差”写进去。

一、标题

δ-mem: Efficient Online Memory for Large Language Models

关键词：δ-mem、Efficient Online Memory、Large Language Models。

从题目中就能看出来本文做的是一种高效的在线维护Memory的方案，delta 也大概揭示了记忆的维护方式。

二、摘要

δ-mem 用一个极小的在线关联记忆矩阵压缩历史，并把读出的记忆信号转成 attention 修正，从而让冻结 LLM 在不扩展上下文的情况下利用过去信息。

并且直接提到了本文的三个关键机制：

• Online State of Associative Memory（在线关联记忆状态，简称 OSAM）：一个会随输入不断更新的小矩阵。

• Delta-rule Learning（delta 规则学习）：用“预测误差”来更新记忆。

• Low-rank Attention Corrections（低秩注意力修正）：把记忆读出的信号变成对 attention 的轻量修正。

论文摘要说，大模型越来越需要在长期助手和 Agent 系统里积累并复用历史信息。单纯扩大 context window 很贵，而且不保证模型真的能用好长上下文。

于是作者提出 δ-mem：

历史信息
  -> 压缩进固定大小的 online memory state
  -> 当前输入读取这个 state
  -> 生成 attention 的低秩修正
  -> 影响模型生成
  -> 新信息再写回 state

这和常见的记忆方案差别很大：

• RAG / Mem0：记忆主要以文字形式回到 prompt。

• MemGPT：管理上下文窗口，把信息换入换出。

• δ-mem：记忆不作为文字进入 prompt，而是作为内部连续信号修正 attention。

论文给出的核心结果包括：

• 使用 8 × 8 online memory state，δ-mem 平均分达到 frozen backbone 的 1.10×。

• 相比最强非 δ-mem 记忆 baseline，达到 1.15×。

• 在 memory-heavy benchmark 上收益更大：

  • MemoryAgentBench 达到 1.31×。

  • LoCoMo 达到 1.20×。

  • TTL subtask 从 26.14 提升到 50.50。

• 在 Qwen3-4B-Instruct 上，整体平均分从 46.79% 提升到最高 51.66%。

值得一提的是，这篇论文不是说“8 × 8 矩阵能完整保存所有历史细节”。更准确的理解是：

这个很小的状态能保存一部分对后续推理有用的历史信号，并通过 attention 修正把这些信号用起来。

它不是人类式完整回忆，也不是可解释文本记忆，而是一种压缩的、连续的、内部耦合式记忆。

三、引言

3.1 论文为什么反对“只加长上下文”？

引言从一个现实问题出发：LLM 正在进入长期助手和 Agent 系统。这样的系统不能只回答孤立 prompt，而要在长时间互动中积累、更新和复用历史信息。

最直觉的办法是：把历史都放进 context window。

但论文指出，这只是把记忆问题变成了长上下文处理问题，并没有根本解决记忆问题。

原因主要有两个。

第一，计算代价高。标准 attention 对上下文长度通常有很高的计算成本。历史越长，开销越大。

第二，长上下文不等于有效使用上下文。模型可能出现 context degradation 或 context rot，也就是上下文越长，模型越容易忽略、混淆或错误利用远处信息。

3.2 memory state 与 memory steering

3.2.1 Memory State：记忆存在哪里？

Memory State（记忆状态） 指历史信息以什么形式保存。

比如：

• 文本摘要、文本事实、RAG chunk。

• 外部向量库、外部 latent memory。

• adapter / LoRA / prefix 等参数。

• δ-mem 的在线矩阵状态。

3.2.2 Memory Steering：记忆如何影响模型？

Memory Steering（记忆引导） 指保存下来的记忆怎样影响当前推理。

比如：

• RAG 把文本拼回 prompt，让模型读。

• 外部模块把检索结果编码后融合回来。

• 参数记忆通过固定权重改变模型行为。

• δ-mem 通过 attention correction 直接影响当前 forward computation。

3.3 现有方法的不足

论文把已有方法分成三类，并指出各自问题。

Textual Memory Mechanisms（文本记忆机制）：把记忆存成文本，再通过 prompt 或 retrieval 放回模型。

代表包括 RAG、MemoryBank、Mem0、MemGPT 类系统。

优点是灵活、可读、可编辑。缺点是：

• 受 context window 限制。

• 检索可能有噪声。

• 摘要和压缩会丢信息。

• 记忆最终还是要消耗 prompt token。

Outside-Channel Memory Mechanisms（外部通道记忆机制）：把记忆放在模型外部的 latent module 或 memory bank 中，再通过额外通道读回来。

优点是可以不完全依赖文本。缺点是：

• 检索和融合有额外开销。

• 外部表示和当前 backbone 可能不对齐。

• 系统集成复杂。

Parametric Memory Mechanisms（参数记忆机制）：把记忆写进 prefix、adapter、LoRA 或模型编辑参数里。

优点是推理时高效，并且和 frozen backbone 兼容。缺点是：

• 多数参数记忆是静态的。

• 很难在线适应不断变化的信息。

• 更像“改模型习惯”，不太像“随互动演化的记忆状态”。

3.4 δ-mem 的定位

δ-mem 想结合几类方法的优点：

• 像 parametric memory 一样轻量，不需要长 prompt。

• 像 online memory 一样可以随输入动态更新。

• 像内部机制一样直接影响 attention，而不是靠外部文本再喂回来。

四、相关工作

4.1 Textual Memory Mechanisms：文本记忆

Textual Memory Mechanisms（文本记忆机制） 把历史保存为文本条目、摘要、文档 chunk、记忆日志，再在需要时塞回 prompt。

典型例子：

• RAG（Retrieval-Augmented Generation，检索增强生成）：从外部文档或历史记录中检索相关片段，拼到输入里。

• Generative Agents：把观察写进 memory stream，再检索和反思。

• MemGPT：像操作系统管理内存一样，在有限 context 和外部长期记忆之间换入换出。

• MemoryBank：维护连续交互历史和用户记忆。

• Mem0：从对话中抽取关键事实，进行新增、更新、删除和检索。

这类方法很直观，也最接近人类写笔记。

优点：

• 可读性强。

• 便于人工检查和修改。

• 容易与数据库、向量库、知识图谱结合。

缺点：

• 最终还是要占用 token。

• 检索错误会把无关信息塞给模型。

• 压缩摘要会丢细节。

• 记忆是否能被模型正确利用，仍取决于 prompt 和模型长上下文能力。

δ-mem 的区别：

它不把记忆作为文本重新输入，而是把历史压进连续状态，再把状态读出为 attention 修正信号。

4.2 Outside-Channel Memory Mechanisms：外部通道记忆

Outside-Channel Memory Mechanisms（外部通道记忆机制） 保存的不是普通文本，而是模型内部表示、latent vector、外部 memory bank 等。

代表工作包括：

• Memorizing Transformers：存储过去内部表示，并用 kNN 检索。

• LongMem：用 frozen backbone 编码记忆，再通过 side network 读取外部 memory bank。

• MLP Memory：用外部 MLP 模块保存和检索记忆信息。

这类方法比文本记忆更“神经网络内部化”，可能减少自然语言摘要带来的信息损失。

但问题是：

• 外部检索仍然有开销。

• 外部 memory 和当前 backbone 表示可能不匹配。

• 融合模块设计复杂。

• 记忆并不一定直接参与 attention 的核心计算。

δ-mem 的区别：

它没有把 memory 当成一个额外资料源，而是让 memory state 的 readout 直接产生 attention correction，参与当前 forward pass。

4.3 Parametric Memory Mechanisms：参数记忆

Parametric Memory Mechanisms（参数记忆机制） 把信息编码到额外参数或局部权重修改里。

代表包括：

• Prefix-Tuning：学习连续 virtual tokens。

• LoRA：用低秩矩阵改变模型层的行为。

• ROME / MEMIT：通过模型编辑写入事实关联。

• Context2LoRA / MemGen：把上下文或记忆编码进额外参数。

这类方法的优点是推理时高效，也适合冻结大模型主体。

缺点是：

• 记忆通常训练后固定。

• 在线更新不自然。

• 可能改变模型整体行为，而不是只在当前历史条件下生效。

δ-mem 和 LoRA 有点像，都用低秩接口影响模型；但关键区别是：

LoRA 的低秩更新是静态的；δ-mem 的低秩修正来自动态 memory state，同一组参数在不同历史下会产生不同修正。

这就是 δ-mem 的研究定位：动态的状态记忆 + 轻量参数接口 + attention 内部耦合。

五、方法

δ-Mem 的核心想法其实就是把历史信息压缩进一个很小的在线记忆状态 S，再用这个状态去修正 Transformer 的 attention 计算。

这和 RAG、Mem0 这类外部文本记忆方法很不一样。RAG 或 Mem0 通常会把历史内容保存成文本、向量或图结构，等需要时再检索出来拼进 prompt。δ-Mem 则更“内部化”：它不把记忆作为文本喂回模型，而是让记忆以连续矩阵的形式参与模型前向计算。

原文把这个矩阵称为 Online State of Associative Memory，在线关联记忆状态。

5.1 在线记忆状态：用矩阵 S 存 key-value 关联

δ-Mem 维护一个矩阵：

论文主实验里 r = 8，所以这个记忆状态只有：$8 \times 8$

也就是 64 个数。

它不是用来逐字保存历史内容的，而是用来保存一种压缩后的“关联记忆”。

在每个时间步，模型会从当前 hidden state $x_t$ 中投影出三个向量：

这三个向量分别承担不同角色：

• $q_t^m$：用来读取记忆，即“我现在想查什么”；
• $k_t^m$：用来写入记忆的 key，即“这条信息的索引”；
• $v_t^m$：用来写入记忆的 value，即“这条信息的内容”。

这里的 \(q, k, v\) 和 Transformer attention 里的 query、key、value 很像，但它们不是标准 attention 的 QKV，而是 δ-Mem 自己投影出来的 memory QKV。

5.2 读取记忆：当前输入从旧状态里取出历史信号

在写入当前信息之前，δ-Mem 会先从旧记忆状态 $S_{t-1}$ 中读取信息：

这里的 $r_t$ 就是读出来的 memory signal。

注意，这个 $r_t$ 不是一段文本，也不是检索出的 chunk，而是一个连续向量。它代表“当前输入根据过去历史激活出的记忆信号”。

可以类比成人的联想：

看到群聊里面开始发vivo50的笑话，便联想到 “今天是周四”、“肯德基疯狂星期四”。我们不是在逐字翻笔记，而是某个线索激活了过去的印象。

δ-Mem 也是类似。当前输入通过 $q_t^m$ 查询记忆矩阵 $S_{t-1}$，得到一个压缩的历史信号 $r_t$。

5.3 用记忆修正 attention：低秩 correction

读出 $r_t$ 之后，δ-Mem 并不会把它直接转成文本，而是把它变成对 attention 的修正项。

论文主方法主要修正两个位置：

也就是：

• 一个修正 attention 的 query；
• 一个修正 attention 的 output。

原始 Transformer 中，当前 token 的 query 是：

δ-Mem 会把记忆修正加上去：

然后用修正后的 query 做 attention：

最后，在 attention output 上再加一个记忆修正：

这也是 δ-Mem 的核心创新点之一：它不是简单加一个 adapter，而是让 adapter 的行为随历史记忆变化。

5.4 写入记忆：用 delta-rule 更新状态 S

读完旧记忆、完成 attention 修正之后，δ-Mem 会把当前信息写入记忆状态。

它希望记忆矩阵 S 能学到这样的关联：

也就是说，之后如果再遇到类似的 key，矩阵 S 应该能回忆出对应的 value。

论文把这个过程解释成一个在线回归问题：

这里的意思是：当前状态 $S$ 看到 key $k_t$ 后，预测出的 value 是 $S k_t$，目标 value 是 $v_t$。两者越接近，说明记忆越准确。

如果用 SGD 更新这个 loss，可以得到：

这个公式看起来复杂，但直觉很简单：

就是旧记忆的预测误差。

如果旧状态已经能根据 $k_t$ 预测出 $v_t$，说明这条信息已经记住了，就不用大幅更新。反过来，如果预测错了，就把这个“差值”写入状态。

所以 δ-Mem 不是无脑累加新信息，而是只写入旧记忆没掌握好的部分。

这就是 delta-rule 的含义：

只更新误差，只写入残差。

5.5 遗忘门：不是所有旧记忆都应该永久保留

为了避免记忆状态无限累积噪声，δ-Mem 又引入了一个遗忘门：

其中：

• $\lambda_t$：控制旧记忆保留多少；
• $\beta_t$：控制新信息写入多少。

论文中 $\beta_t$ 由当前 hidden state 计算出来：

并令：

这意味着，如果当前信息很重要，写入强度 $\beta_t$ 可以更大；如果当前信息不重要，旧状态就保留得更多。

5.6 三种写入粒度：TSW、SSW、MSW

论文还研究了记忆写入的粒度。因为在真实对话和 Agent 轨迹中，每个 token 都写入不一定最合理。一个 token 太细，容易把格式符号、停用词、重复表达也写进记忆。

因此作者设计了三种写入方式。

Token-State Write，TSW

TSW 是最细粒度的写入方式，每个 token 都更新一次记忆状态：

它的优点是信息保留细，适合需要捕捉局部变化的任务。缺点是容易被噪声污染。

Sequence-State Write，SSW

SSW 先把一个 message 或 segment 内的 hidden states 平均：

然后用这个 segment 表示更新一次状态：

它相当于“听完一整句话或一整段后再做总结”，比逐 token 写入更平滑，也更抗噪声。

Multi-State Write，MSW

MSW 不是只维护一个状态矩阵，而是维护多个并行子状态：

每个子状态都可以积累不同类型的信息，最后把它们的 readout 拼接起来：

直觉上，MSW 像是给模型准备多个记忆槽：

• 一个槽记事实；
• 一个槽记偏好；
• 一个槽记任务进度；
• 一个槽记局部事件。

这样可以减少所有信息都挤进一个矩阵造成的互相干扰。

5.7 训练目标：SFT loss 训练的是“怎么记、怎么用”

最后，δ-Mem 使用标准的 SFT loss 来训练整个记忆模块。

训练时，历史 context 会先写入 online state，得到 $S_C$。之后模型回答问题时，不再显式重放完整历史，而是让 frozen backbone 在 $S_C$ 的 steering 下生成答案。

训练目标是自回归交叉熵：