論文の概要: Proteus: Incremental Memory Activation for Long-Context Sequence Modeling
- arxiv url: http://arxiv.org/abs/2608.16844v1
- Date: Mon, 17 Aug 2026 17:30:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.820799
- Title: Proteus: Incremental Memory Activation for Long-Context Sequence Modeling
- Title（参考訳）: Proteus: 長期連続モデリングのためのインクリメンタルメモリアクティベーション
- Abstract要約: 本研究では,メモリの有効容量が増大するにつれて徐々に拡大する,インクリメンタルメモリの活性化という新たなパラダイムについて検討する。
Proteusでは、このパラダイムをインスタンス化しています。これは、幅広い種類のニューラルメモリアーキテクチャに追加コストなしで組み込むことのできる、簡単なメカニズムです。
- 参考スコア（独自算出の注目度）: 40.42120143986562
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The quadratic cost of attention-based sequence models for long contexts has motivated a growing line of research on memory-based models that can compress context into a compact state. However, most existing memory models expose a static memory throughout the entire sequence. Because early tokens face no compression pressure, they occupy too many degrees of freedom and "pollute" the memory state, leaving little capacity for later context and increasing interference between what is stored and what arrives next. We study a new paradigm of incremental memory activation, where the effective capacity of memory is progressively expanded as the context grows. Imposing an early bottleneck forces the model to compress history more effectively, while unlocking fresh capacity over time reduces interference and improves retention of later context. We instantiate this paradigm in Proteus, a straightforward mechanism that can be incorporated into a broad class of neural memory architectures at no additional cost. We apply Proteus to state-of-the-art models, including SWLA, Comba, Titans, and Hope-Attention, and observe consistent improvements on standard language modeling and reasoning, as well as on long-context retrieval and understanding, with gains that grow at longer context lengths. Overall, our results show that static memory is suboptimal and that scheduling effective capacity is a simple and broadly applicable tool for sequence modeling.
- Abstract（参考訳）: 長期のコンテキストに対する注意に基づくシーケンスモデルの二次コストは、コンテキストをコンパクトな状態に圧縮できるメモリベースモデルの研究のラインを拡大する動機となっている。
しかし、既存のメモリモデルのほとんどは、シーケンス全体を通して静的メモリを公開する。
初期トークンは圧縮圧力を伴わないため、多くの自由度を占有し、メモリ状態を"汚染"し、後続のコンテキストに対するキャパシティをほとんど残さず、保存されるものと次に来るものの間の干渉を増大させる。
本研究では,メモリの有効容量が増大するにつれて徐々に拡大する,インクリメンタルメモリの活性化という新たなパラダイムについて検討する。
初期のボトルネックを発生させると、モデルはより効果的に履歴を圧縮し、時間とともに新鮮なキャパシティをアンロックすることで干渉を減らし、後のコンテキストの保持を改善する。
Proteusでは、このパラダイムをインスタンス化しています。これは、幅広い種類のニューラルメモリアーキテクチャに追加コストなしで組み込むことのできる、簡単なメカニズムです。
本稿では, SWLA, Comba, Titans, Hope-Attentionなどの最先端モデルにProteusを適用し, 標準言語モデリングと推論, 長文検索と理解における一貫した改善を観察する。
以上の結果から,静的メモリは最適以下であり,効率のよいスケジューリング能力は,シーケンスモデリングのためのシンプルで広く適用可能なツールであることが示唆された。
関連論文リスト
- MemoryWAM: Efficient World Action Modeling with Persistent Memory [80.90899269062128]
本稿では,効率的な永続メモリを持つ世界アクションモデルであるMemoryWAMを紹介する。
調整された注意機構は、詳細な短期コンテキストと圧縮された長期コンテキストの両方の検索を可能にする。
MemoryWAMは、シミュレーションと実世界の両方において、強力な視覚言語アクション(VLA)とWAMベースラインを上回っている。
論文 参考訳（メタデータ） (2026-06-18T17:59:51Z) - Memory Caching: RNNs with Growing Memory [56.25483647131372]
メモリ状態(隠された状態)のチェックポイントをキャッシュすることで、リカレントモデルを強化する技術であるメモリキャッシュ(MC)を導入する。
我々は,ゲートアグリゲーションとスパース選択機構を含むMCの4つの変種を提案し,それらが線形メモリモジュールおよび深部メモリモジュールに与える影響について議論する。
その結果,トランスフォーマーの精度は高いが,我々のMC変種は競争性能を示し,トランスフォーマーとのギャップを埋め,最先端のリカレントモデルよりも優れた性能を示した。
論文 参考訳（メタデータ） (2026-02-27T18:53:41Z) - AllMem: A Memory-centric Recipe for Efficient Long-context Modeling [32.025154452526856]
大規模言語モデル(LLM)は、長時間のタスクにおいて重大なパフォーマンスボトルネックに直面する。
SWA(Sliding Window Attention)とTTT(Non-linear Test-Time Training)メモリネットワークを統合した,新規で効率的なハイブリッドアーキテクチャであるtextscAllMemを紹介する。
論文 参考訳（メタデータ） (2026-02-14T09:04:28Z) - Towards Compressive and Scalable Recurrent Memory [16.831420033939548]
トランスフォーマーは、長いコンテキストへのスケーリングにおいて、注意の二次的なボトルネックに直面します。
最近のアプローチでは、現在のウィンドウを超えてコンテキストを拡張するために、リカレントメモリが導入されている。
我々は,オンライン関数近似のためのHiPPOフレームワークを基盤とした,新しいメモリアーキテクチャであるElastic Memoryを紹介する。
論文 参考訳（メタデータ） (2026-02-11T07:21:49Z) - Pre-Storage Reasoning for Episodic Memory: Shifting Inference Burden to Memory for Personalized Dialogue [13.558061425427688]
PreMemは、複雑な推論プロセスを推論からメモリ構築に移行する新しいアプローチである。
これは、相互作用中の計算要求を減らしながら、リッチな表現を生成する。
実験では、すべてのモデルサイズで大幅にパフォーマンスが向上した。
論文 参考訳（メタデータ） (2025-09-13T15:18:08Z) - ATLAS: Learning to Optimally Memorize the Context at Test Time [31.41718170413687]
ATLASは、コンテキストを記憶する能力の高い長期記憶モジュールである。
本稿では,従来のトランスフォーマーアーキテクチャの厳密な一般化であるDeep Transformerと呼ばれる,トランスフォーマーライクなアーキテクチャの新たなファミリーを紹介する。
論文 参考訳（メタデータ） (2025-05-29T17:57:16Z) - Long-Context State-Space Video World Models [66.28743632951218]
本稿では、状態空間モデル(SSM)を活用して、計算効率を損なうことなく時間記憶を拡張する新しいアーキテクチャを提案する。
我々の設計の中心はブロックワイズSSMスキャン方式であり、時間記憶の拡張のために空間整合性を戦略的にトレードオフする。
メモリ迷路とMinecraftのデータセットの実験は、我々のアプローチが長距離メモリ保存のベースラインを超えたことを示している。
論文 参考訳（メタデータ） (2025-05-26T16:12:41Z) - Titans: Learning to Memorize at Test Time [20.12643072017223]
歴史的文脈を記憶するために学習するニューラルな長期記憶モジュールを提案する。
このニューラルメモリは高速な推論を維持しつつ、高速な並列化可能なトレーニングの利点があることが示される。
我々は、Titansと呼ばれる新しいアーキテクチャのファミリーを紹介し、このアーキテクチャにメモリを効果的に組み込む方法に対処する3つのバリエーションを提示します。
論文 参考訳（メタデータ） (2024-12-31T22:32:03Z) - B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。
B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
論文 参考訳（メタデータ） (2024-07-08T18:41:01Z) - Recurrent Action Transformer with Memory [39.58317527488534]
本稿では,情報保持を規制するリカレントメモリ機構を組み込んだ新しいモデルアーキテクチャを提案する。
メモリ集約環境(ViZDoom-Two-Colors, T-Maze, Memory Maze, Minigrid-Memory)、古典的アタリゲーム、MuJoCo制御環境について実験を行った。
その結果、メモリの使用は、古典的な環境における結果の維持や改善をしながら、メモリ集約環境におけるパフォーマンスを著しく向上させることができることがわかった。
論文 参考訳（メタデータ） (2023-06-15T19:29:08Z) - Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。
我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文 参考訳（メタデータ） (2020-10-14T09:03:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。