七、实验

实验非常完善，很 solid！

7.1 研究问题

论文设置四个 RQ：

1. MemGen 能否超过 parametric memory 和 retrieval-based memory？
2. 学到的 memory 能否跨领域泛化，原因是什么？
3. MemGen 能否支持 continual learning 并缓解 catastrophic forgetting？
4. MemGen 是否形成了类似 planning、procedural、working memory 的功能分化？

7.2 数据集

论文覆盖五个领域、九个数据集：

主要横向结果表使用其中八个；AQuA 主要用于持续学习实验。跨领域泛化实验还额外使用 ScienceWorld 和 FEVER。

7.3 Baselines 与 Backbone

Baselines 分为四组：

Backbone 包括：

• Qwen2.5-1.5B；
• SmolLM3-3B；
• Qwen3-8B。

MemGen 有两个主要版本：

• MemGen SFT：weaver 使用 SFT 学习；
• MemGen GRPO：weaver 使用 GRPO 学习。

7.4 RQ1：跨领域主结果

SmolLM3-3B

值得注意：

• MemGen GRPO 在大多数任务上最佳；
• GPQA 上 MemGen SFT 26.75，高于 MemGen GRPO 25.20，说明 RL 版本并非每项都优于 SFT；
• ALFWorld 上 MemGen SFT 相比 Vanilla 提升 31.64 个百分点，MemGen GRPO 提升 44.64 个百分点。

Qwen3-8B

论文据此主张 MemGen 在 embodied action、knowledge QA、coding、science 和 math 上都有收益，而不是只适合一个领域。

7.5 小模型结果

Qwen2.5-1.5B 上：

这里同样可以看到：GPQA 上 MemGen SFT 略高于 MemGen GRPO，说明不同优化方式会形成不同 memory behavior。

7.6 RQ2：跨领域泛化

论文分别在 ALFWorld、TriviaQA、GSM8K、KodCode 上训练，再测试其他领域，并额外加入 ScienceWorld、FEVER。

主要观察包括：

• SFT 和 MemoryBank 往往主要改善训练域；
• 某些 baseline 在训练域外会下降，例如论文报告 FEVER 最多下降 16.2%；
• MemGen 在 KodCode 上训练后，KodCode 从 24.55 提升到 58.16，同时 MATH 从 36.6 提升到 54.2；
• 在 GSM8K 上训练后，对 GPQA 和 KodCode 仍有正迁移。

论文将这一现象解释为：weaver 学到的不只是任务答案，还包含可迁移的 reasoning pattern。

7.7 Trigger 如何缓解 domain conflict？

论文在 GSM8K 上训练 MemGen，然后分别观察 GSM8K、GPQA、KodCode 推理时的 memory invocation：

• GSM8K 平均调用最多，性能提升也最大；
• GPQA 调用中等；
• KodCode 调用最少，性能提升也较小。

作者据此认为，trigger 会根据当前任务与已学 memory 的匹配程度调节调用频率：在陌生领域少调用，降低错误 memory 干扰。

这个证据说明 invocation frequency 与任务收益相关，但它仍是相关性分析，不能单独证明 trigger 已显式学会 domain identity。

7.8 RQ3：Continual Learning

论文使用 Qwen2.5-1.5B，按以下顺序训练：

AQuA -> GPQA -> GSM8K -> KodCode

每个阶段训练后，在四个任务上统一评测。

最后训练到 KodCode 后：

这表明：

• SFT 对最新任务 KodCode 提升最高，但旧任务损失明显；
• MemGen 在最新任务略低于 SFT，却保留了更均衡的旧任务能力；
• 冻结 reasoner、把新经验隔离到 weaver 中，确实有助于降低对基础能力的直接覆盖。

但应准确使用“缓解 catastrophic forgetting”，而不是“彻底消除”：weaver 自身仍是连续训练的参数模块，也可能发生遗忘。

7.9 RQ4：Latent Memory 是否形成层级？

Latent memory 是否可读？

论文对每条 K-token memory sequence 求平均向量，再用 t-SNE 可视化，并在高维空间做 K-means 聚类。

不同任务的 memory distribution 有分离趋势，相关领域更接近，例如：

• KodCode 与 BigCodeBench；
• GSM8K 与 MATH。

作者尝试把 latent vectors 强制映射为 vocabulary token，得到的文本大多不可读，但部分 cluster 有重复形式，例如：

• TriviaQA 某 cluster 常出现结尾 SOC；
• GSM8K 某 cluster 常出现 _check 或 _pick。

因此论文称其为 machine-native and human-unreadable memory。

功能干预实验

论文在 TriviaQA 上：

1. 对 latent memory mean embedding 做 K-means，预设 \(N=4\) 个 cluster；
2. 人工把失败轨迹标注为八种 failure mode；
3. 推理时过滤靠近某个 cluster centroid 的 memory sequence；
4. 观察不同 failure mode 是否增加。

作者将 cluster 功能解释为：

论文也承认 cluster 不是完全独立的，例如移除 working-memory-related cluster 也会影响 planning。

7.10 Trigger 消融

Qwen2.5-1.5B 上不同 invocation strategy：

结论是：

• 在语义边界插 memory 优于任意 token 位置随机插入；
• 每个 delimiter 都插入仍不如 learned trigger；
• memory 插入并非越多越好，错误位置会产生 interference。

7.11 Weaver 容量消融

论文比较 LoRA weaver 和 full-parameter SFT weaver：

Full SFT 更强，说明 weaver 的参数容量会限制 memory 能力；LoRA 的价值主要是参数效率和隔离性，而不是达到绝对最佳性能。

论文还观察到 latent memory length 从 2 增加到 32 时性能总体提高，说明 K 是一个 memory capacity 参数。但主实验主要使用固定 K，尚未探索根据任务难度自适应生成不同长度。

7.12 效率分析

以部分结果为例：

MemGen 相比同样经过 SFT 的模型通常多一点 latency，因为要运行 trigger 和 weaver；但相比 Vanilla，完成任务所需轨迹更短，所以总时间仍可能更低。

因此，“MemGen 比 Vanilla 快”不能简单解释为 latent insertion 本身加速了单 token inference。更准确的解释是：

Memory insertion 有额外计算，但更有效的推理可能减少无效 token、工具调用和错误尝试，使端到端任务时间下降。

7.13 与 ExpeL 结合

SmolLM3-3B 上：

这个实验说明 MemGen 与 external memory manager 不是替代关系：

• ExpeL 负责提供可检索文本经验；
• Weaver 负责把检索结果和当前推理状态重构成 compact latent memory；
• Reasoner 使用重构后的 latent memory 继续推理。

八、结论

8.1 论文结论

论文提出 MemGen，通过：

• RL-trained memory trigger；
• generative memory weaver；
• reasoning-time latent memory insertion；
• frozen core reasoner；

让 Agent 在推理过程中动态生成并调用 memory。

实验显示 MemGen 在多领域任务上取得性能提升，具有一定跨域迁移和 continual learning 能力，并在 post-hoc cluster intervention 中呈现 planning、procedural、working memory 的功能分化。

8.2 novelty

MemGen 最有价值的地方不是“又加了一套 LoRA”，而是组合了三个设计：

1. 何时记忆是可学习的：trigger 在推理中动态选择 invocation position。
2. 记忆内容是生成的：weaver 根据当前 cognitive state 重构 memory，而不是只返回原始经验。
3. 记忆直接进入 latent computation：生成结果以 K 个 hidden vectors 影响 frozen reasoner，而不是转回自然语言 prompt。

这三个部分一起构成了 reasoning-memory interleaving。

8.3 一些概念边界

它并不是完全非参数化的 Memory

论文把 $M_t$ 称为 latent memory 是合理的，但长期经验实际上保存在 weaver LoRA 参数中。

所以：

长期存储介质：Parametric
运行时 memory representation：Latent
调用方式：Generative

如果只说它“摆脱了 parametric memory”，会忽略 weaver 本身就是一个参数化经验库。它真正避免的是修改 core reasoner，而不是避免所有参数更新。

它不是用户可管理的长期记忆库

MemGen 默认没有：

• memory item ID；
• 显式内容查看；
• 单条事实更新；
• 删除和遗忘接口；
• 来源追溯；
• 时间有效期；
• 冲突 belief 管理。

因此它适合保存“如何做任务”的隐式经验，不适合单独承担“用户现在住在哪里”这种需要可编辑、可审计的事实记忆。

Human-like hierarchy 是后验解释

论文的 functional study 有实际干预，而不只是画一张 t-SNE，这一点值得肯定。但“形成了人类式记忆层级”的证据仍有限：

• K-means cluster 数量 $N=4$ 是预设的；
• failure mode 是人工定义和标注的；
• cluster 到 memory type 的对应关系是事后命名；
• cluster 功能并不相互独立；
• 实验主要集中在 TriviaQA。

因此更稳妥的表述是：

不同 latent memory cluster 对不同 Agent failure mode 呈现功能差异，作者将这种差异解释为 planning、procedural 和 working memory。

8.4 主要局限

1. 不可解释和不可审计：latent memory 强制解码后仍难以阅读，错误 memory 很难定位和修正。
2. Weaver 自身仍会遗忘：冻结 reasoner 缓解了基础能力覆盖，但连续训练同一个 weaver 仍可能产生 adapter-level forgetting。
3. 需要训练数据和任务 reward：新经验不会自动进入 memory，仍需要 SFT trajectory 或可计算的 RL reward。
4. 两阶段训练增加复杂度：先训练 weaver、再训练 trigger，训练和部署都比普通 LoRA 多一个控制模块。
5. 固定 memory length：主实验使用 K 为 2、4、8，尚未学习“该生成多长的 memory”。
6. Trigger 的候选位置受限：只在 delimiter 边界判断提高了效率，但可能错过句中真正关键的推理转折。
7. 效率归因不够彻底：端到端时间下降部分来自输出轨迹变短，论文没有完全拆分 trigger、weaver 和 KV/cache 操作的独立开销。
8. 持续学习规模有限：只在四个任务序列上验证，尚不足以证明长周期、多阶段 self-evolution。

8.5 启发。？

1、External Memory Manager + Latent Weaver

让 Mem0、Graph Memory 或 episode database 负责：

• 长期存储；
• 版本管理；
• 更新删除；
• 证据追溯。

让 MemGen weaver 负责：

• 根据当前推理状态选择外部证据；
• 压缩冲突和冗余；
• 生成 task-specific latent working memory。

这样可以同时获得显式 memory 的可管理性和 latent memory 的高密度计算能力。

2、Adaptive Memory Length

把固定 K 改为：

简单查询 -> 0 或 2 个 latent tokens
一般推理 -> 4 到 8 个
复杂规划 -> 更长 latent sequence

训练目标同时考虑任务 reward、latency 和 memory length。

3、可解释 Latent Memory

可以增加：

• latent-to-text probe；
• concept bottleneck；
• memory attribution；
• counterfactual intervention；
• source trajectory alignment。

目标不是强迫 latent memory 完全变成文本，而是回答“这次 memory 来自哪些经验、影响了哪些 action”。

4、Belief-aware Trigger

目前 trigger 主要学习何时调用。进一步可以让它区分：

• 缺少事实；
• 缺少规划；
• 遇到冲突；
• 工具失败；
• 对答案不确定；
• 需要检查格式。

然后调用不同类型的 weaver 或外部 memory source。