論文の概要: MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens

• arxiv url: http://arxiv.org/abs/2603.23516v1
• Date: Fri, 06 Mar 2026 02:29:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 02:36:13.000776
• Title: MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens
• Title（参考訳）: MSA: 1億トークンにスケールアップする効率的なエンドツーエンドメモリモデルのためのメモリスパースアテンション
• Authors: Yu Chen, Runkai Chen, Sheng Yi, Xinda Zhao, Xiaohong Li, Jianjin Zhang, Jun Sun, Chuanrui Hu, Yunyun Han, Lidong Bing, Yafeng Deng, Tianqiao Chen,
• Abstract要約: メモリスパース注意(MSA:Memory Sparse Attention)は、エンドツーエンドのトレーニング可能で、効率的で、非常にスケーラブルなメモリモデルフレームワークである。 MSAは、例外的な安定性を維持しながら、トレーニングと推論の両方において線形複雑性を実現する。 また,分散メモリセグメント間の複雑なマルチホップ推論を容易にするメモリインターリービングを提案する。
• 参考スコア（独自算出の注目度）: 38.762431789628074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-term memory is a cornerstone of human intelligence. Enabling AI to process lifetime-scale information remains a long-standing pursuit in the field. Due to the constraints of full-attention architectures, the effective context length of large language models (LLMs) is typically limited to 1M tokens. Existing approaches, such as hybrid linear attention, fixed-size memory states (e.g., RNNs), and external storage methods like RAG or agent systems, attempt to extend this limit. However, they often suffer from severe precision degradation and rapidly increasing latency as context length grows, an inability to dynamically modify memory content, or a lack of end-to-end optimization. These bottlenecks impede complex scenarios like large-corpus summarization, Digital Twins, and long-history agent reasoning, while limiting memory capacity and slowing inference. We present Memory Sparse Attention (MSA), an end-to-end trainable, efficient, and massively scalable memory model framework. Through core innovations including scalable sparse attention and document-wise RoPE, MSA achieves linear complexity in both training and inference while maintaining exceptional stability, exhibiting less than 9% degradation when scaling from 16K to 100M tokens. Furthermore, KV cache compression, combined with Memory Parallel, enables 100M-token inference on 2xA800 GPUs. We also propose Memory Interleaving to facilitate complex multi-hop reasoning across scattered memory segments. MSA significantly surpasses frontier LLMs, state-of-the-art RAG systems, and leading memory agents in long-context benchmarks. These results demonstrate that by decoupling memory capacity from reasoning, MSA provides a scalable foundation to endow general-purpose models with intrinsic, lifetime-scale memory.
• Abstract（参考訳）: 長期記憶は人間の知性の基礎である。 AIを生涯にわたる情報処理に活用することは、この分野における長年の追求だ。 フルアテンションアーキテクチャの制約のため、大きな言語モデル(LLM)の有効コンテキスト長は通常1Mトークンに制限される。 ハイブリッドリニアアテンション、固定サイズのメモリ状態(例えばRNN)、RAGやエージェントシステムのような外部ストレージ方法といった既存のアプローチは、この制限を拡張しようと試みている。 しかし、コンテキスト長の増大に伴い、厳しい精度の低下とレイテンシの急激な増加、動的にメモリ内容を変更できないこと、エンドツーエンド最適化の欠如に悩まされることが多い。 これらのボトルネックは、大規模な企業要約、Digital Twins、長期エージェント推論のような複雑なシナリオを妨げると同時に、メモリ容量を制限し、推論を遅くする。 メモリスパース注意(MSA:Memory Sparse Attention)は、エンドツーエンドのトレーニング可能で、効率的で、非常にスケーラブルなメモリモデルフレームワークである。 スケーラブルなスパースアテンションとドキュメントワイドのRoPEを含むコアイノベーションを通じて、MSAはトレーニングと推論の両方において線形複雑性を達成し、例外的な安定性を維持しながら、16Kから100Mトークンへのスケーリングでは9%未満の劣化を示す。 さらに、KVキャッシュ圧縮とMemory Parallelを組み合わせることで、2xA800 GPU上で1億トークンの推論が可能になる。 また,分散メモリセグメント間の複雑なマルチホップ推論を容易にするメモリインターリービングを提案する。 MSAは、フロンティアのLLM、最先端のRAGシステム、長期コンテキストベンチマークにおける主要なメモリエージェントをはるかに上回っている。 これらの結果は、メモリ容量を推論から切り離すことにより、MSAは、本質的な、寿命スケールのメモリを持つ汎用モデルを実現するためのスケーラブルな基盤を提供することを示している。

関連論文リスト

• LMEB: Long-horizon Memory Embedding Benchmark [49.57481835614834]
  埋め込みモデルの能力を評価する包括的なフレームワークであるLong-Horizon Memory Embedding Benchmark (LMEB)を紹介する。 LMEBは4つのメモリタイプにまたがる22のデータセットと193のゼロショット検索タスクにまたがる。 我々は、数億から100億のパラメータを含む、広く使われている15の埋め込みモデルを評価した。
  論文  参考訳（メタデータ） (2026-03-13T02:09:57Z)
• AllMem: A Memory-centric Recipe for Efficient Long-context Modeling [32.025154452526856]
  大規模言語モデル(LLM)は、長時間のタスクにおいて重大なパフォーマンスボトルネックに直面する。 SWA(Sliding Window Attention)とTTT(Non-linear Test-Time Training)メモリネットワークを統合した,新規で効率的なハイブリッドアーキテクチャであるtextscAllMemを紹介する。
  論文  参考訳（メタデータ） (2026-02-14T09:04:28Z)
• Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents [57.38404718635204]
  大規模言語モデル (LLM) エージェントは、有限コンテキストウィンドウによる長距離推論において基本的な制限に直面している。 既存のメソッドは通常、長期記憶(LTM)と短期記憶(STM)を独立したコンポーネントとして扱う。 本稿では,エージェントのポリシーに LTM と STM 管理を直接統合する統合フレームワークである Agentic Memory (AgeMem) を提案する。
  論文  参考訳（メタデータ） (2026-01-05T08:24:16Z)
• MoM: Linear Sequence Modeling with Mixture-of-Memories [11.7218875689111]
  我々はMixture-of-Memories (MoM)と呼ばれる新しいアーキテクチャを導入する。 MoMは複数の独立したメモリ状態を利用し、ルータネットワークは入力トークンを特定のメモリ状態に誘導する。 MoMは、既存の線形シーケンスモデリング技術を超え、リコール集約タスクにおいて非常によく機能する。
  論文  参考訳（メタデータ） (2025-02-19T12:53:55Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• MEMO: Fine-grained Tensor Management For Ultra-long Context LLM Training [24.066283519769968]
  大規模言語モデル(LLM)は、よりクリエイティブなアプリケーションを促進するために、拡張コンテキスト長を使用して訓練されている。 本稿では,メモリ管理を微粒化するための新しいフレームワークであるMEMOを提案する。 MeMOはMegatron-LMやDeepSpeedと比べて平均1.97倍と1.80倍のMFUを達成している。
  論文  参考訳（メタデータ） (2024-07-16T18:59:49Z)
• B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
  我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。 B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
  論文  参考訳（メタデータ） (2024-07-08T18:41:01Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。