論文の概要: Balancing Memory Pathways: Analyzing and Improving Memory Utilization in Hybrid LMs

• arxiv url: http://arxiv.org/abs/2610.06750v1
• Date: Mon, 05 Oct 2026 17:27:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 23:07:19.420157
• Title: Balancing Memory Pathways: Analyzing and Improving Memory Utilization in Hybrid LMs
• Title（参考訳）: メモリのバランシング:ハイブリッドLMにおけるメモリ利用の分析と改善
• Abstract要約: 両経路を単純にアクセスすることは、ハイブリッドLMが効果的に利用しているという意味ではない。 それらは、リカレントステートよりも注意に大きく依存している。 再帰状態が全シーケンスを通して伝播している間に、注意の事前のコンテキストへのアクセスを制限する補助的な損失を追加する。
• 参考スコア（独自算出の注目度）: 130.1824289756772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent-attention hybrid language models (LMs), which interleave attention and recurrent layers, are increasingly used to combine the efficiency of the recurrent layers with the strong performance of attention layers. Prior work suggests that attention and recurrent layers offer complementary pathways to use past information: attention supports precise memory recall from earlier tokens, while recurrent layers support consolidation of disparate information over long contexts. However, we observe that simply having access to both pathways does not mean that hybrid LMs are effectively using them. We find that they rely substantially more on attention than on the recurrent state. Standard supervised fine-tuning improves overall performance but does not improve how the two memory pathways are coordinated: the model becomes more reliant on information propagated by attention layers, while its use of information propagated by recurrent layers remains limited. To encourage better coordination between the two memory pathways, we add an auxiliary loss that limits attention's access to earlier context while the recurrent state propagates through the full sequence. This objective encourages the model to retain and use information through the recurrent pathway alongside attention. It improves overall performance, with particularly strong gains on tasks involving longer contexts or requiring information aggregation, consistent with the strengths of recurrent layers observed in analysis. Crucially, this imbalance and the benefit of our auxiliary loss generalize: they apply to multiple recurrent-attention LMs in question-answering and agentic tasks, as well as to attention-based LMs that combine different forms of memory. Together, our findings show that simply providing multiple memory pathways does not ensure their effective use, and that targeted supervision is needed to better coordinate them.
• Abstract（参考訳）: リカレント・アテンション・ハイブリッド言語モデル(LM)は、注意層とリカレント層をインターリーブするが、リカレント層の効率とアテンション層の強い性能を両立させるためにますます利用されている。 注意は以前のトークンからの正確なメモリリコールをサポートし、リカレントレイヤは長期にわたる異なる情報の統合をサポートする。 しかし、両方の経路に単純にアクセスできることは、ハイブリッドLMがそれらを効果的に利用しているという意味ではない。 それらは、リカレントステートよりも注意に大きく依存している。 標準教師付き微調整は、全体的な性能を改善するが、2つのメモリ経路の調整方法を改善するものではない。 2つのメモリ経路間のコーディネーションを改善するために、リカレント状態が全シーケンスを通して伝播している間に、注意の以前のコンテキストへのアクセスを制限する補助的な損失を追加する。 この目的は、注意とともに繰り返される経路を通じて、モデルが情報を保持し、使用することを奨励する。 全体的なパフォーマンスを改善し、特に長いコンテキストや情報集約を必要とするタスクにおいて、分析で観察される繰り返しレイヤの強みと整合して、大きな利益を得る。 重要なことは、この不均衡と補助損失の利点は、質問応答やエージェントタスクにおける複数の繰り返し注意型LMに適用され、異なる形態のメモリを組み合わせた注意ベースのLMにも適用されます。 この結果から,複数のメモリ経路を単純に提供しても有効利用が得られず,より適切に調整するためには,目標とする監視が必要であることが示唆された。

関連論文リスト

• How Linear Attention Remembers [5.218306756623912]
  本研究では,メモリシステムとして,固定サイズのリカレントメモリがどのように機能するかを検討する。 ファクト固有情報は、集中的かつコンテンツ依存の書き込みを通じて、繰り返しメモリに入る。 リカレントレイヤとフルアテンションを組み合わせたハイブリッドアーキテクチャでは、実行時メモリがリコールシフトを直接サポートし、フルアテンションなKV状態になる。
  論文  参考訳（メタデータ） (2026-09-27T02:02:21Z)
• Retrieval-Driven Memory Reconsolidation for Long-Term LLM Agents [39.55670043123564]
  既存のメモリシステムは、新しい情報が到着したときにメモリを更新する。 検索フィードバックは、将来のアクセスのためにメモリを再編成するために利用されることはめったにない。 LLMエージェントの長期記憶を継続的に進化させるフレームワークである textbfREALM を提案する。
  論文  参考訳（メタデータ） (2026-09-13T05:17:37Z)
• Memory is Reconstructed, Not Retrieved: Graph Memory for LLM Agents [51.30250860677378]
  本稿では,連想記憶グラフとアクティブな再構成機構を組み合わせたフレームワークであるMRAgentを提案する。 Cue-Tag-Contentグラフ上で実行することで,メモリアクセスに直接推論を統合する。 LoCoMoベンチマークとLongMemEvalベンチマークの実験は、強いベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2026-06-04T11:29:46Z)
• GAM: Hierarchical Graph-based Agentic Memory for LLM Agents [45.876418535406714]
  大きな言語モデル(LLM)エージェントは、新しい情報を取得し、事前の知識を保持することの間の緊張関係をナビゲートする必要がある。 現在の統合ストリームベースのメモリシステムは、コンテキスト更新を容易にするが、過渡的ノイズからの干渉に弱いままである。 本稿では,階層型グラフベースのエージェントメモリフレームワークであるGAMを提案する。
  論文  参考訳（メタデータ） (2026-04-14T04:53:00Z)
• Hybrid Associative Memories [9.608866388449337]
  リカレントニューラルネットワーク(RNN)と自己アテンション(自己アテンション)は、内部メモリを維持するシーケンスミキシング層として広く使用されている。 本稿では,自己注意とRNNを組み合わせて,それぞれの強みを活かしたハイブリッド連想記憶層を提案する。
  論文  参考訳（メタデータ） (2026-03-20T14:12:00Z)
• Agentic Learner with Grow-and-Refine Multimodal Semantic Memory [50.81667005063605]
  ViLoMemは、コンパクトなスキーマベースのメモリを構築するデュアルストリームメモリフレームワークである。 視覚的障害パターンと論理的推論エラーを符号化し、MLLMが成功し失敗した経験から学ぶことを可能にする。
  論文  参考訳（メタデータ） (2025-11-26T18:55:08Z)
• Visual Attention Emerges from Recurrent Sparse Reconstruction [82.78753751860603]
  本稿では,人間の視覚的注意機構の2つの特徴,すなわち再発と空間性に基づく新しい注意形態について述べる。 自己注意は単一ステップの最適化と空間制約のないVARSの特殊な場合であることを示す。 VARSは、一般的な視覚変換器における自己注意の代替として容易に利用でき、様々なベンチマークでその堅牢性を一貫して改善することができる。
  論文  参考訳（メタデータ） (2022-04-23T00:35:02Z)
• Recurrence-in-Recurrence Networks for Video Deblurring [58.49075799159015]
  最先端のビデオデブロアリング法は、しばしばフレーム間の時間的依存性をモデル化するために、リカレントニューラルネットワークを採用する。 本稿では,短距離メモリの限界に対処する再帰型ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-03-12T11:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。