論文の概要: Towards Compressive and Scalable Recurrent Memory
- arxiv url: http://arxiv.org/abs/2602.11212v1
- Date: Wed, 11 Feb 2026 07:21:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-13 21:07:25.452042
- Title: Towards Compressive and Scalable Recurrent Memory
- Title（参考訳）: 圧縮性とスケーラブルなリカレントメモリを目指して
- Authors: Yunchong Song, Jushi Kai, Liming Lu, Kaixi Qiu, Zhouhan Lin,
- Abstract要約: トランスフォーマーは、長いコンテキストへのスケーリングにおいて、注意の二次的なボトルネックに直面します。
最近のアプローチでは、現在のウィンドウを超えてコンテキストを拡張するために、リカレントメモリが導入されている。
我々は,オンライン関数近似のためのHiPPOフレームワークを基盤とした,新しいメモリアーキテクチャであるElastic Memoryを紹介する。
- 参考スコア（独自算出の注目度）: 16.831420033939548
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformers face a quadratic bottleneck in attention when scaling to long contexts. Recent approaches introduce recurrent memory to extend context beyond the current window, yet these often face a fundamental trade-off between theoretical principles and practical scalability. To address this, we introduce Elastic Memory, a novel memory architecture grounded in the HiPPO framework for online function approximation. Elastic Memory treats historical sequence as samples from continuous signals, applying optimal online compression to encode them into a fixed-size memory state. For retrieval, we propose a flexible \textit{polynomial sampling} mechanism that reconstructs a history summary from this compressed state. Elastic Memory consistently outperformed baselines on long-context (32k+) datasets across three domains. With equal parameters, it beat Memorizing Transformer by 16x memory and outperformed Melodi at all memory sizes, even when Melodi had 30% more parameters. When scaling model size, Elastic Memory stayed ahead of all baselines and was significantly faster than Melodi at 4x size. Furthermore, its decoupled design allows for injecting inductive biases at test-time to boost performance.
- Abstract（参考訳）: トランスフォーマーは、長いコンテキストへのスケーリングにおいて、注意の二次的なボトルネックに直面します。
最近のアプローチでは、コンテクストを現在のウィンドウを超えて拡張するためにリカレントメモリを導入していますが、理論原則と実用的なスケーラビリティの基本的なトレードオフに直面します。
これを解決するために,オンライン関数近似のためのHiPPOフレームワークを基盤とした新しいメモリアーキテクチャであるElastic Memoryを紹介する。
Elastic Memoryは、履歴シーケンスを連続的な信号からのサンプルとして扱い、最適なオンライン圧縮を適用して固定サイズのメモリ状態にエンコードする。
この圧縮状態から履歴の要約を再構成するフレキシブルな \textit{polynomial sample} 機構を提案する。
Elastic Memoryは、3つのドメインにわたるロングコンテキスト(32k+)データセットのベースラインを一貫して上回った。
同じパラメータで、16倍のメモリでMelodi Transformerを圧倒し、Melodiが30%以上のパラメータを持つ場合でも、すべてのメモリサイズでMelodiを圧倒した。
モデルサイズをスケールする場合、Elastic Memoryはすべてのベースラインに先行し、Melodiよりも4倍の速度で動作した。
さらに、分離された設計により、テスト時に誘導バイアスを注入してパフォーマンスを向上することができる。
関連論文リスト
- From Verbatim to Gist: Distilling Pyramidal Multimodal Memory via Semantic Information Bottleneck for Long-Horizon Video Agents [78.30630000529133]
本稿ではファジィトレース理論に基づくピラミッド型マルチモーダルメモリアーキテクチャMM-Memを提案する。
MM-Memメモリは階層的に感覚バッファ、エピソードストリーム、シンボリックに構造する。
実験により、MM-Memがオフラインタスクとストリーミングタスクの両方で有効であることが確認された。
論文 参考訳（メタデータ） (2026-03-02T05:12:45Z) - Memory Caching: RNNs with Growing Memory [56.25483647131372]
メモリ状態(隠された状態)のチェックポイントをキャッシュすることで、リカレントモデルを強化する技術であるメモリキャッシュ(MC)を導入する。
我々は,ゲートアグリゲーションとスパース選択機構を含むMCの4つの変種を提案し,それらが線形メモリモジュールおよび深部メモリモジュールに与える影響について議論する。
その結果,トランスフォーマーの精度は高いが,我々のMC変種は競争性能を示し,トランスフォーマーとのギャップを埋め,最先端のリカレントモデルよりも優れた性能を示した。
論文 参考訳（メタデータ） (2026-02-27T18:53:41Z) - Trellis: Learning to Compress Key-Value Memory in Attention Models [48.12167339402521]
本稿では,有界メモリを備えた新しいトランスフォーマーアーキテクチャであるTrellisを紹介する。
Trellisは標準のKVキャッシュを固定サイズのメモリに置き換え、新しいキーと値をメモリに格納する2パスのリカレント圧縮機構を訓練する。
言語モデリング、常識推論、リコール集約タスク、時系列に関する実験は、提案されたアーキテクチャが強力なベースラインを上回っていることを示している。
論文 参考訳（メタデータ） (2025-12-29T20:32:10Z) - Remember Me, Refine Me: A Dynamic Procedural Memory Framework for Experience-Driven Agent Evolution [52.76038908826961]
我々は静的ストレージと動的推論のギャップを埋めるため、$textbfReMe$ ($textitRemember Me, Refine Me$)を提案する。
ReMeは3つのメカニズムを通じてメモリライフサイクルを革新する: $textitmulti-faceted distillation$, きめ細かい経験を抽出する。
BFCL-V3とAppWorldの実験では、ReMeが新しい最先端のエージェントメモリシステムを確立している。
論文 参考訳（メタデータ） (2025-12-11T14:40:01Z) - Pre-Storage Reasoning for Episodic Memory: Shifting Inference Burden to Memory for Personalized Dialogue [13.558061425427688]
PreMemは、複雑な推論プロセスを推論からメモリ構築に移行する新しいアプローチである。
これは、相互作用中の計算要求を減らしながら、リッチな表現を生成する。
実験では、すべてのモデルサイズで大幅にパフォーマンスが向上した。
論文 参考訳（メタデータ） (2025-09-13T15:18:08Z) - R$^3$Mem: Bridging Memory Retention and Retrieval via Reversible Compression [24.825945729508682]
情報保持と検索の両方を最適化するメモリネットワークであるR$3$Memを提案する。
R$3$Memは、仮想メモリトークンを使用して無限に長い履歴を圧縮およびエンコードし、階層的な圧縮戦略によってさらに強化される。
実験により,長文言語モデリングおよび検索強化生成タスクにおいて,メモリ設計が最先端の性能を達成することを示す。
論文 参考訳（メタデータ） (2025-02-21T21:39:00Z) - BitStack: Any-Size Compression of Large Language Models in Variable Memory Environments [53.71158537264695]
大規模言語モデル(LLM)は、多くのアプリケーションに革命をもたらしたが、ローカルデバイスにおけるメモリ制限により、その展開は依然として困難である。
textbfBitStackは,メモリ使用量とモデル性能のトレードオフを可能にする,新しいトレーニング不要な重み圧縮手法である。
論文 参考訳（メタデータ） (2024-10-31T13:26:11Z) - B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。
B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
論文 参考訳（メタデータ） (2024-07-08T18:41:01Z) - LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。
LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。
広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
論文 参考訳（メタデータ） (2022-04-15T06:11:25Z) - Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。
我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文 参考訳（メタデータ） (2020-10-14T09:03:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。