論文の概要: Mamba with Hierarchical Memory: Solving Representation Bottleneck in Long Sequence Modeling

• arxiv url: http://arxiv.org/abs/2608.02347v2
• Date: Wed, 05 Aug 2026 06:13:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 14:48:43.181138
• Title: Mamba with Hierarchical Memory: Solving Representation Bottleneck in Long Sequence Modeling
• Title（参考訳）: 階層記憶を持つマンバ:ロングシーケンスモデリングにおける表現ボトルネックの解決
• Authors: Qinwen Wang, Jieping Luo, Aoxiang Qin, Ruoyu Zhao, Jianxiong Tang, Wei Zhang, Zhichao Lu, Luziwei Leng,
• Abstract要約: リカレント線形アテンションモデル(RLA)は、トランスフォーマーの代替として効率的な線形時間シーケンスモデリングを提供する。 本稿では,HMM(Hierarchical Memory Mamba)を提案する。 トレーニング済みのMambaバックボーン上に構築されたHMMは、スロー段落レベルのセマンティクスを抽出する軽量なワーキングメモリを統合する。
• 参考スコア（独自算出の注目度）: 22.059823137069188
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recurrent linear attention models (RLAs) such as Mamba offer efficient linear-time sequence modeling as an alternative to Transformers, yet their fixed-capacity recurrent states limit long-sequence modeling. Drawing inspiration from hierarchical human memory, we propose Hierarchical Memory Mamba (HMM) to address this limitation. Building upon a pre-trained Mamba backbone, HMM integrates a lightweight working memory that extracts slow paragraph-level semantics (PLS) from the fast sensory memory embedded in the backbone's hidden states. The PLS is subsequently compressed into persistent long-term memory for task-relevant retrieval. The hierarchical processing of semantic information overcomes the representation bottleneck of RLAs and endows HMM cross-task generalization through parametric learning, which is not observed in other long-context enhanced Mamba variants. Evaluations on Passkey Retrieval and LongBench-E tasks demonstrate that HMM improves retrieval success by 34.3--37.1% and reasoning accuracy by 1.6--14.2% over strong Mamba-based models, while adding only 2% extra parameters and with minimal training overhead.
• Abstract（参考訳）: Mambaのようなリカレント線形アテンションモデル(RLA)は、トランスフォーマーの代替として効率的な線形時間シーケンスモデリングを提供するが、その固定容量リカレント状態はロングシーケンスモデリングを制限する。 階層型記憶からインスピレーションを得たHMM(Hierarchical Memory Mamba)を提案する。 トレーニング済みのMambaバックボーンをベースとして、HMMは軽量なワーキングメモリを統合し、バックボーンの隠された状態に埋め込まれた高速な感覚記憶から遅い段落レベルのセマンティクス(PLS)を抽出する。 PLSはその後、タスク関連検索のために永続的な長期メモリに圧縮される。 意味情報の階層的処理は、RLAの表現ボトルネックを克服し、他の長文拡張マンバ変種では見られないパラメトリック学習を通じてHMMクロスタスク一般化を実現する。 Passkey RetrievalとLongBench-Eタスクの評価は、HMMが検索成功率を34.3-37.1%向上し、強力なMambaベースのモデルよりも1.6-14.2%向上し、2%余分なパラメータしか追加せず、訓練のオーバーヘッドを最小限に抑えていることを示している。

関連論文リスト

• MemDLM: Memory-Enhanced DLM Training [56.40248490616793]
  Diffusion Language Models (DLM)は、Auto-Regressive (AR)モデルよりも優れた利点を提供する。 彼らは列車の干渉ミスマッチに悩まされている。 本稿では,模擬復調処理をトレーニングに組み込んだメモリ拡張DLMを提案する。
  論文  参考訳（メタデータ） (2026-03-23T17:39:56Z)
• Memory Caching: RNNs with Growing Memory [56.25483647131372]
  メモリ状態(隠された状態)のチェックポイントをキャッシュすることで、リカレントモデルを強化する技術であるメモリキャッシュ(MC)を導入する。 我々は,ゲートアグリゲーションとスパース選択機構を含むMCの4つの変種を提案し,それらが線形メモリモジュールおよび深部メモリモジュールに与える影響について議論する。 その結果,トランスフォーマーの精度は高いが,我々のMC変種は競争性能を示し,トランスフォーマーとのギャップを埋め,最先端のリカレントモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2026-02-27T18:53:41Z)
• MemMamba: Rethinking Memory Patterns in State Space Model [6.537535831000493]
  マンバのような選択的状態空間モデルは O(n) 時間と O(1) 繰り返しの推論で高い効率性を示すが、その長距離メモリは指数関数的に崩壊する。 長文読解時の塩分情報の蒸留・保存方法に着想を得て,MemMambaを提案する。 MemMambaは、長期間のベンチマークで既存のMambaとTransformerよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-09-28T14:40:58Z)
• Routing Mamba: Scaling State Space Models with Mixture-of-Experts Projection [88.47928738482719]
  線形状態空間モデル(SSM)は、シーケンスモデリングにおいて顕著なパフォーマンス向上を提供する。 Mambaのような最近の進歩は、入力依存のゲーティングとハードウェア対応の実装により、SSMをさらに強化している。 本稿では,線形射影の専門家による疎混合を用いてSSMパラメータをスケールする新しい手法であるRoM(Roing Mamba)を紹介する。
  論文  参考訳（メタデータ） (2025-06-22T19:26:55Z)
• Memory Layers at Scale [67.00854080570979]
  この研究はメモリ層を概念実証以上のものにし、現代の規模でその有用性を証明している。 ダウンストリームタスクでは、改善されたメモリ層で強化された言語モデルは、予算の2倍以上の高密度モデルよりも優れており、計算とパラメータの両方にマッチする場合の熟練モデルの混合も優れている。 最大128Bのメモリパラメータを持つスケーリング法則を1兆トークンまで事前訓練し,最大8Bパラメータを持つベースモデルと比較した,完全な並列化可能なメモリレイヤの実装を提供する。
  論文  参考訳（メタデータ） (2024-12-12T23:56:57Z)
• PackMamba: Efficient Processing of Variable-Length Sequences in Mamba training [13.926804198202582]
  Mambaは、生成AIの分野で画期的なアーキテクチャとして登場し、長いシーケンスを扱うのに顕著な習熟度を示している。 Mambaの既存のトレーニングフレームワークは、可変長シーケンス入力による非効率性を示す。 可変長シーケンスを効率的に処理する高スループットなMambaであるPackMambaを提案する。
  論文  参考訳（メタデータ） (2024-08-07T16:13:43Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Decision Mamba: Reinforcement Learning via Hybrid Selective Sequence Modeling [13.253878928833688]
  テキスト内強化学習のための決定マンバ・ヒブリッド(DM-H)を提案する。 DM-Hは、マンバモデルを介して長期記憶から高価値のサブゴールを生成する。 長期タスクにおけるDM-Hのオンラインテストは、トランスフォーマーベースのベースラインよりも28$times$speedである。
  論文  参考訳（メタデータ） (2024-05-31T10:41:03Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。