11 Mamba 与线性状态空间模型

原始课件：mamba (v9).pptx（61 页）

1. 为什么需要 Transformer 之外的架构

Transformer 的自注意力可以直接访问任意历史 token，训练时并行性好，但长序列存在两个成本：

循环神经网络（RNN）把历史压缩成固定大小状态，推理内存稳定，但训练难以并行，长距离依赖也可能造成梯度问题。Mamba 及相关状态空间模型（SSM）尝试在两者之间取得平衡。

RNN 的抽象形式是：

\begin{aligned} h_t &= f(h_{t-1}, x_t), \\ y_t &= g(h_t). \end{aligned}

状态 $h_t$ 固定大小，因此推理便宜；但状态容量有限，可能发生信息覆盖。

线性注意力可以写成一个累积矩阵：

\begin{aligned} H_t &= H_{t-1} + v_t k_t^{\mathsf{T}}, \\ y_t &= H_t q_t. \end{aligned}

训练时可利用矩阵运算并行，推理时只需维护 $H_t$ 。相较标准注意力，它把二次复杂度降为近似线性，但固定状态仍会带来记忆干扰：新信息可能覆盖旧信息，或者不同模式竞争同一容量。

Retentive Network 在状态累积中加入衰减因子，让旧信息随时间逐渐消退。固定衰减能控制记忆范围，但所有输入使用同一遗忘速度并不灵活。

后续门控 retention 让遗忘程度依赖输入：重要信息保留更久，不相关信息更快清除。课件把这种输入相关的选择机制视为从“固定记忆”走向“可选择记忆”的关键。

Mamba: Linear-Time Sequence Modeling with Selective State Spaces 将状态空间模型与输入相关的选择机制结合。每个 token 不只更新状态，还影响状态转移、输入和输出参数，从而决定当前信息应该写入、保留还是忽略。

可以用直觉流程理解：

Mamba 的目标不是保存所有历史，而是学习哪些历史值得保留。它的优势包括线性序列复杂度、固定推理状态和较强长序列效率；代价是状态压缩可能损失需要精确回看的信息。

课件介绍了几条改进路线：

这些工作共同面对一个问题：固定状态的容量有限，模型必须决定何时遗忘、如何覆盖，以及怎样避免短期噪声污染长期记忆。

Mamba 不是在所有任务上替代 Transformer。需要精确复制、随机访问或复杂上下文检索时，注意力仍然有明显优势；超长序列、低延迟和固定内存场景则更适合研究 SSM 或混合架构。

课件列出多项将 Transformer 与 SSM 结合的工作：

混合设计的基本原则是：让注意力负责需要精确检索的部分，让 SSM 负责长序列压缩和高吞吐计算。

分析 Mamba 类模型时，应重点观察：

不能只比较参数量或短序列准确率；应报告长上下文吞吐、显存、延迟和状态失真。