論文の概要: History Replays Itself: Unleashing Long-Context Capability in Linear Attention

• arxiv url: http://arxiv.org/abs/2610.15715v1
• Date: Sun, 11 Oct 2026 15:58:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.240463
• Title: History Replays Itself: Unleashing Long-Context Capability in Linear Attention
• Title（参考訳）: History Replays it:Linear Attentionにおける長期的能力の解放
• Abstract要約: 将来的なクエリが知られる前に、選択したテキストをアーカイブするスパースエピソードメモリであるNoteBankを紹介する。 100万のトークンで、Gated DeltaNetの6つのRULER検索タスクの平均精度を1.7%から70.3%に引き上げる。
• 参考スコア（独自算出の注目度）: 33.594399079019986
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Linear attention promises the efficiency needed for long-context language modelling, yet its fixed-size recurrent state must simultaneously support ongoing computation and preserve information from an ever-growing history. This coupling has reinforced a prevailing view that the state's memory capacity defines the model's long-context capability. We challenge this presumed ceiling: \emph{recurrent computation need not bear the full burden of long-term storage}. We introduce NoteBank, a sparse episodic memory that archives selected text before future queries are known, uses the backbone's native features for writing and addressing, and reads retrieved evidence through its native forward computation via replay. This \emph{training-free, plug-and-play} interface requires no external embedding model, separately trained retriever, or separate neural reader. At one million tokens, it raises Gated DeltaNet's mean accuracy across six RULER retrieval tasks from 1.7% to 70.3%, with no observed significant retrieval degradation from 4K to 1M tokens. This recovery adds $\leqslant$0.025% to analytical FLOPs, with persistent context storage approximately 1/2,600 that of a Transformer's full MHA KV cache at matched width, depth, and precision. Experiments extend from three 1.3B recurrent backbones to Mamba-2-8B and post-trained Qwen3.5-9B, demonstrating gains on LongBench v1/v2 and MemoryAgentBench. Together, these results show that sparse evidence storage and native replay can substantially expand the long-context capability of pretrained linear attention models while retaining the efficiency of recurrent computation.
• Abstract（参考訳）: 線形注意は、長いコンテキスト言語モデリングに必要な効率を約束するが、その固定サイズのリカレント状態は、進行中の計算を同時にサポートし、成長を続ける歴史から情報を保存する必要がある。 この結合は、状態のメモリ容量がモデルの長期コンテキスト能力を定義するという一般的な見解を強化した。 我々はこの推定天井に挑戦する: \emph{recurrent compute should not bear the full burden of long-term storage}。 我々は、将来のクエリが知られる前に選択されたテキストをアーカイブするスパースエピソードメモリであるNoteBankを導入し、バックボーンのネイティブ機能を使って書き込みとアドレスを作成し、リプレイによって検索された証拠をそのネイティブフォワード計算で読み取る。 このemph{training-free, plug-and-play}インターフェースは、外部埋め込みモデル、個別にトレーニングされたレトリバー、または別個のニューラルリーダーを必要としない。 100万のトークンで、Gated DeltaNetの6つのRULER検索タスクの平均精度は1.7%から70.3%に上昇するが、4Kから1Mトークンへの顕著な検索劣化は観測されていない。 このリカバリは、解析的FLOPに$\leqslant$0.025%を追加し、コンテクストストレージは、Transformerの完全なMHA KVキャッシュの、マッチした幅、深さ、精度で約1/2,600ドルになる。 実験は3つの1.3BリカレントバックボーンからMamba-2-8B、訓練後のQwen3.5-9Bまで拡張され、LongBench v1/v2とMemoryAgentBenchが向上した。 これらの結果から,スパークエビデンス・ストレージとネイティブ・リプレイは,リカレント計算の効率を保ちながら,事前学習された線形アテンションモデルの長期コンテキスト能力を大幅に拡張できることが示された。

関連論文リスト

• REMORY: Learning Residual Memory for Context Compaction [22.11320993973582]
  本稿では,要約をソフトメモリトークンの有界シーケンスで補完するニューラルネットワークREMORYを紹介する。 SummHayでは、REMORYは入力位置の5.2%しか使用せず、ほとんど変化のないインサイトカバレッジでソース属性を改善し、フルコンテクストのジョイントスコアにアプローチする。 Qwen3.8-27B と GLM-5.3-Flash のロングホライゾンエージェントベンチマークは、残メモリと一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-10-08T05:50:50Z)
• LayerRecall: A State-Conditioned Memory Router for Long-Horizon Consistency in Video Generation [22.878882105342182]
  自己回帰ビデオ拡散は、境界付けられた最近の文脈からチャンクを生成する。 頻度ベースのキャッシュは、被写体、オブジェクト、シーン、または属性が再び現れるときに必要となる歴史的手がかりを排除します。 LayerRecallは関連するK/V状態を取得し、バックボーン固有のメモリ依存レイヤにのみ注入する。
  論文  参考訳（メタデータ） (2026-08-28T15:49:13Z)
• Recursive Experiential-Working Memory Evolution for Long-Horizon Agent Harnesses [83.32611586724165]
  Recurisは、ロングホライゾンエージェントハーネスのためのExperiential-Working Memoryアーキテクチャである。 Work Memoryはタスクの進捗を追跡し、Experiential Memoryからスキル選択をガイドする。 4つのロングホライズンベンチマークと10のモデルでRecurisは37のモデルベンチマークペアのうち35のタスク成功を改善している。
  論文  参考訳（メタデータ） (2026-08-25T17:56:35Z)
• PI-Mem: Pushing Long-Context Reasoning to 3.6M Tokens with Parallel-Iterative Memory [30.188604861823823]
  本稿では,チャンクの並列処理機構であるPI-Memを提案する。 我々は,HotpotQAベンチマークにおいて,最大360万トークンのPI-MemをQwen3.5-35B-A3B,Qwen2.5-7Bで評価した。
  論文  参考訳（メタデータ） (2026-08-04T02:59:16Z)
• Memory-Managed Long-Context Attention: A Preliminary Study of Editable Request-Local Memory [0.5371337604556311]
  メモリ管理型長コンテキストアテンションは、高速なリカレントまたはスパースバックボーンを、明示的な編集可能な要求ローカルメモリスロットから分離する研究ルートである。 構造化された合成タスク、トークン/チャンク/シーケンスブリッジ、生成された自然言語、ローカル凍結モデル診断、純粋な固定状態または純粋なスパースメソッドは、オーバーライト、バージョン、アンチ汚染またはノーライト署名ケースを失敗する。
  論文  参考訳（メタデータ） (2026-06-27T11:38:43Z)
• FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention [77.12062766962815]
  Lookahead Sparse Attention (LSA)は、DeepSeek-V4アーキテクチャ上に構築されたNeural Memory Indexerを利用している。 このアーキテクチャをバックボーンフリーの非結合なトレーニング戦略でインスタンス化する。 FM-DS-V4は、物理KVキャッシュのフットプリントを、フルコンテキストベースラインのわずか13.5%まで圧縮することを示した。
  論文  参考訳（メタデータ） (2026-06-08T06:25:54Z)
• SitEmb-v1.5: Improved Context-Aware Dense Retrieval for Semantic Association and Long Story Comprehension [77.93156509994994]
  本研究では,検索性能を向上させるために,より広いコンテキストウインドウに条件付きで短いチャンクを表現する方法を示す。 既存の埋め込みモデルは、そのような場所のコンテキストを効果的にエンコードするのに十分な装備がない。 我々の手法は、最先端の埋め込みモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2025-08-03T23:59:31Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。