Fugu-MT 論文翻訳(概要): MARCH: Scaling Recurrent Memory with Content-Routed State Anchors

論文の概要: MARCH: Scaling Recurrent Memory with Content-Routed State Anchors

arxiv url: http://arxiv.org/abs/2608.12435v1
Date: Wed, 12 Aug 2026 13:45:01 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-14 18:29:38.284166
Title: MARCH: Scaling Recurrent Memory with Content-Routed State Anchors
Title（参考訳）: MARCH: Content-Routed State Anchorによるリカレントメモリのスケーリング
Abstract要約: トランスフォーマーはその強い長文検索能力の多くを、コンテキスト長で成長するトークンレベルのメモリに負っている。リカレントな代替手段は、履歴全体を固定サイズの状態に圧縮することで効率的な復号化を提供する。メモリ・アンカー・ルーティング(Memory-Anchor Routing across Context History, MARCH)は、状態空間モデルを固定次元を超えて効果的にスケールするネットワークアーキテクチャである。
参考スコア（独自算出の注目度）: 41.39470291507015
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transformers owe much of their strong long-context retrieval capability to a token-level memory that grows with context length. This flexibility, however, incurs a quadratic computation complexity during training and a key--value cache that grows linearly during autoregressive inference. Recurrent alternatives offer efficient decoding by compressing the entire history into a fixed-size state, but often underperform on recall-intensive tasks since earlier associations usually get overwritten by subsequent updates, and only the most recent contextual information is retained. In this paper, we introduce Memory-Anchor Routing across Context History (MARCH), a network architecture that effectively scales state-space models beyond a fixed-size dimension, while maintaining computational efficiency over long-sequences. MARCH periodically caches cumulative recurrent-state checkpoints as state anchors and associates each anchor with a compact, content-conditioned anchor key. This lets MARCH maintain a memory bank, which can grow as context length increases, providing a controllable trade-off between historical resolution and memory cost. At each token, MARCH produces an anchor query to attend all causally available state anchors, and the output is calculated as an attention-style aggregation over all historical anchors along the current state. We show that after standard pretraining, MARCH consistently outperforms multiple linear attention variants across commonsense reasoning, LongBench, and in-context retrieval. These results demonstrate that content-routed state caching substantially strengthens recurrent long-range memory while preserving its native computation path.
Abstract（参考訳）: トランスフォーマーはその強い長文検索能力の多くを、コンテキスト長で成長するトークンレベルのメモリに負っている。しかし、この柔軟性は、トレーニング中の2次計算の複雑さと、自己回帰推論中に線形に成長するキー値キャッシュを引き起こす。リカレントな代替手段は、履歴全体を固定サイズの状態に圧縮することで効率的なデコードを提供するが、以前のアソシエーションは通常更新によって上書きされるため、しばしばリコール集約タスクでは性能が低下し、最新のコンテキスト情報のみが保持される。本稿では,長期にわたる計算効率を維持しつつ,固定次元を超えて状態空間モデルを効果的にスケールするネットワークアーキテクチャであるメモリ・アンカー・ルーティング・コンテクスト・ヒストリー(MARCH)を紹介する。 MARCHは周期的に累積的再カレント状態チェックポイントを状態アンカーとしてキャッシュし、各アンカーをコンパクトでコンテント条件のアンカーキーに関連付ける。これにより、MARCHはメモリバンクを維持でき、コンテキスト長が増加するにつれて成長し、歴史的な解像度とメモリコストのトレードオフを制御できる。各トークンにおいて、MARCHはすべての因果的に利用可能な状態アンカーへのアンカークエリを生成し、その出力は現在の状態に沿ったすべての歴史的アンカーに対するアテンションスタイルのアグリゲーションとして計算される。 MARCHは、標準事前学習後、コモンセンス推論、LongBench、コンテキスト内検索において、複数の線形アテンション変異を一貫して上回ることを示す。これらの結果から,コンテントロート状態キャッシングは,そのネイティブな計算経路を保ちながら,リカレントロングレンジメモリを大幅に強化することが示された。

関連論文リスト

LayerRecall: A State-Conditioned Memory Router for Long-Horizon Consistency in Video Generation [22.878882105342182]
自己回帰ビデオ拡散は、境界付けられた最近の文脈からチャンクを生成する。頻度ベースのキャッシュは、被写体、オブジェクト、シーン、または属性が再び現れるときに必要となる歴史的手がかりを排除します。 LayerRecallは関連するK/V状態を取得し、バックボーン固有のメモリ依存レイヤにのみ注入する。
論文参考訳（メタデータ） (2026-08-28T15:49:13Z)
Raven: High-Recall Sequence Modeling with Sparse Memory Routing [88.47618436676748]
メモリスロットの固定セットを維持する線形時間シーケンスモデルであるRavenを導入し、各ステップにおいて、学習された入力依存ルーティングによって選択されたサブセットのみを減衰・更新する。リコール集約ベンチマーク全体では、Ravenは以前のリニアタイムベースラインと競合するか、より優れており、SWAとSSMの両方が大幅に低下する強いロングコンテキストリコールを実現している。
論文参考訳（メタデータ） (2026-07-28T07:04:32Z)
FadeMem: Distance-Aware Memory Consolidation for Autoregressive Video Diffusion [59.207505503284715]
FadeMemは、歴史的なKVブロックを固定キャッシュ予算の下で時間階層に整理する。新しい歴史はきめ細かいエントリとして挿入され、古い隣のエントリは徐々にマージされる。実験では、既存の有界キャッシュ戦略よりも、被験者の一貫性、背景安定性、時間的コヒーレンスが改善された。
論文参考訳（メタデータ） (2026-06-09T10:22:18Z)
MemForest: An Efficient Agent Memory System with Hierarchical Temporal Indexing [33.94614583313314]
本稿では,エージェントメモリを書き込み効率のよい時間的データ管理問題として再構成するメモリフレームワークであるMemForestを紹介する。 MemForestは、並列チャンク抽出によってシーケンシャルなボトルネックを破り、メモリ構成を並列で独立した操作に分離する。 We evaluate MemForest on two long-context memory benchmarks, LongMemEval-S and LoCoMo。
論文参考訳（メタデータ） (2026-05-16T13:11:47Z)
StructKV: Preserving the Structural Skeleton for Scalable Long-Context Inference [38.75965915663233]
構造対応のKVキャッシュ圧縮フレームワークであるStructKVを提案する。まず、Global In-Degree Centralityは、ネットワーク奥行きの注意パターンを集約し、グローバルな情報ハブを特定する。第二に、Dynamic Pivot Detectionは情報理論のメトリクスを使って、圧縮のための最適な層を適応的に見つける。
論文参考訳（メタデータ） (2026-04-08T07:10:35Z)
Learning to Remember: End-to-End Training of Memory Agents for Long-Context Reasoning [18.621823772319154]
本稿では,メモリ操作と質問応答を一つのポリシーで統一するエンドツーエンド強化学習フレームワークを提案する。 UMAは、グローバルコンテキストのためのコンパクトなコアサマリと、明示的なCRUDをサポートする構造化メモリバンクという、二重メモリ表現を維持している。 Ledger-QA、Test-Time Learning、そしてCurcurate Retrievalにまたがる13のデータセットのうち、UMAは動的推論と学習タスクの長いコンテキストとRAGベースラインを大幅に上回っている。
論文参考訳（メタデータ） (2026-02-13T16:54:23Z)
AMA: Adaptive Memory via Multi-Agent Collaboration [54.490349689939166]
複数の粒度にまたがるメモリ管理に協調エージェントを活用する新しいフレームワークであるAMA(Adaptive Memory via Multi-Agent Collaboration)を提案する。 AMAは、ステート・オブ・ザ・アートのベースラインを著しく上回り、トークンの消費をフルコンテキストの手法と比べて約80%削減する。
論文参考訳（メタデータ） (2026-01-28T08:09:49Z)
MemFlow: Flowing Adaptive Memory for Consistent and Efficient Long Video Narratives [54.07515675393396]
既存のソリューションは、事前に定義された戦略で過去のフレームを圧縮することでメモリを維持する。我々はこの問題に対処するためにMemFlowを提案する。 MemFlowは、無視可能な負担を伴う、卓越した長いコンテキスト整合性を実現する。
論文参考訳（メタデータ） (2025-12-16T18:59:59Z)
Mixture of Contexts for Long Video Generation [72.96361488755986]
我々は長文ビデオ生成を内部情報検索タスクとして再放送する。本稿では,学習可能なスパークアテンション・ルーティング・モジュールであるMixture of Contexts (MoC) を提案する。データをスケールしてルーティングを徐々に分散させていくと、そのモデルは計算を適切な履歴に割り当て、アイデンティティ、アクション、シーンを数分のコンテンツで保存する。
論文参考訳（メタデータ） (2025-08-28T17:57:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。