Fugu-MT 論文翻訳(概要): Multi-Head Recurrent Memory Agents

論文の概要: Multi-Head Recurrent Memory Agents

arxiv url: http://arxiv.org/abs/2607.01523v1
Date: Wed, 01 Jul 2026 22:38:54 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-03 22:14:13.471453
Title: Multi-Head Recurrent Memory Agents
Title（参考訳）: マルチヘッドリカレントメモリエージェント
Abstract要約: マルチヘッドリカレントメモリは、ステージワイド選択更新戦略によって管理される独立したヘッドにメモリを分割する。軽量なインスタンス化としてLHM-LRU(Least-Recently-Updated MHM)を導入する。
参考スコア（独自算出の注目度）: 6.282017902182834
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recurrent memory agents extend LLMs to arbitrarily long contexts by iteratively consolidating input into a fixed-size memory window. Despite their scalability, these agents exhibit a well-documented reliability problem: end-to-end performance degrades systematically as context length grows. We diagnose this failure by decomposing performance into two factors--memory capture and memory retention--and quantitatively confirm that retention is the dominant bottleneck. Retention collapses because existing designs maintain memory as a monolithic text block, forcing every update to risk overwriting previously retained content. Motivated by this diagnosis, we propose Multi-Head Recurrent Memory (MHM), a general, training-free framework that partitions memory into independent heads governed by a stage-wise select-then-update strategy. At each step, exactly one head is selected for update while the remaining heads are structurally shielded from overwriting, shifting the burden of retention from model behavior to architectural design. As a lightweight instantiation, we introduce Least-Recently-Updated MHM (MHM-LRU), which guarantees uniform head utilization with zero additional token overhead. Extensive experiments on long-context benchmarks show that MHM-LRU substantially improves both retention and end-to-end accuracy across the 100K--1M token range, where baselines degrade sharply. On RULER-HQA at 896K tokens, MHM-LRU improves the memory retention rate from less than 30% to 73.96%. These gains generalize across model families, scales, and task types, positioning architectural optimization as a practical and cost-efficient path toward reliable long-context recurrent memory.
Abstract（参考訳）: リカレントメモリエージェントは、インプットを固定サイズのメモリウィンドウに反復的に統合することで、LLMを任意に長いコンテキストに拡張する。拡張性にもかかわらず、これらのエージェントは文書化された信頼性の問題を示す: エンド・ツー・エンドのパフォーマンスは、コンテキストの長さが大きくなるにつれて体系的に低下する。この障害をメモリキャプチャとメモリ保持という2つの要因に分解することで診断し、保持が主要なボトルネックであることを定量的に確認する。既存の設計では、メモリをモノリシックなテキストブロックとして保持しているため、リテンションは崩壊する。この診断に触発されたMHM(Multi-Head Recurrent Memory)は、ステージワイド選択更新戦略によって管理される独立したヘッドにメモリを分割する一般的なトレーニング不要なフレームワークである。各ステップにおいて、正確に1つのヘッドが更新され、残りのヘッドがオーバーライトから構造的に保護され、モデル動作からアーキテクチャ設計へ保持の負担がシフトする。軽量なインスタンス化としてLHM-LRU(Least-Recently-Updated MHM)を導入する。 MHM-LRUは100K--1Mトークンの範囲での保持とエンドツーエンドの精度を大幅に向上し、ベースラインが急激に低下することを示す。 896KトークンのRULER-HQAでは、MHM-LRUはメモリ保持率を30%未満から73.96%に改善している。これらの利点は、モデルファミリ、スケール、タスクタイプにまたがって一般化され、アーキテクチャ最適化を信頼性のある長文リカレントメモリへの実用的でコスト効率の高いパスとして位置づけられる。

関連論文リスト

Retrieval-Driven Memory Reconsolidation for Long-Term LLM Agents [39.55670043123564]
既存のメモリシステムは、新しい情報が到着したときにメモリを更新する。検索フィードバックは、将来のアクセスのためにメモリを再編成するために利用されることはめったにない。 LLMエージェントの長期記憶を継続的に進化させるフレームワークである textbfREALM を提案する。
論文参考訳（メタデータ） (2026-09-13T05:17:37Z)
AdMem: Advanced Memory for Task-solving Agents [13.611633561917513]
大規模言語モデル(LLM)はツール使用エージェントとしての約束を示すが、知識の記憶、整理、再利用を必要とする長期的タスクには制限がある。本稿では,短期記憶と長期記憶を組み合わせた2段階設計において,セマンティック,エピソード,手続き記憶を統合した統合的・自動記憶フレームワークを提案する。
論文参考訳（メタデータ） (2026-06-05T00:11:57Z)
Is One Score Enough? Rethinking the Evaluation of Sequentially Evolving LLM Memory [50.857546269660276]
本稿では,大規模言語モデル(LLM)メモリを逐次進化させる診断評価フレームワークであるSeqMem-Evalを紹介する。最終的なパフォーマンスのみに焦点を当てるのではなく、SeqMem-Evalは、シーケンシャル推論において、メモリ状態がどのように進化し、一般化し、エクスペリエンスを集約し、有用な情報を保持するかを評価する。
論文参考訳（メタデータ） (2026-05-14T20:15:22Z)
MemEvoBench: Benchmarking Memory MisEvolution in LLM Agents [78.95081012334116]
永続メモリを持つ大規模言語モデル(LLM)は、相互作用の継続性とパーソナライゼーションを高めるが、新たな安全性リスクをもたらす。汚染または偏りのある記憶蓄積は、異常な作用を引き起こす可能性がある。 MemeEvoBenchは、LLMエージェントのメモリ安全性を評価する最初のベンチマークである。
論文参考訳（メタデータ） (2026-04-17T07:29:52Z)
MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens [38.762431789628074]
メモリスパース注意(MSA:Memory Sparse Attention)は、エンドツーエンドのトレーニング可能で、効率的で、非常にスケーラブルなメモリモデルフレームワークである。 MSAは、例外的な安定性を維持しながら、トレーニングと推論の両方において線形複雑性を実現する。また,分散メモリセグメント間の複雑なマルチホップ推論を容易にするメモリインターリービングを提案する。
論文参考訳（メタデータ） (2026-03-06T02:29:54Z)
NextMem: Towards Latent Factual Memory for LLM-based Agents [58.35585202907478]
NextMemは、自動回帰型オートエンコーダを使用して、潜時メモリを効率的に構築する、潜時ファクトメモリフレームワークである。大規模な実験は、NextMemが優れたパフォーマンスを達成することを示す。
論文参考訳（メタデータ） (2026-02-26T14:35:27Z)
Mem-T: Densifying Rewards for Long-Horizon Memory Agents [23.19373149519922]
我々は,動的更新やストリーミング入力によるマルチターン検索を行うために,軽量な階層型メモリデータベースと対話する自律メモリエージェントMem-Tを紹介する。また,木誘導型強化学習フレームワークであるMoT-GRPOを提案する。
論文参考訳（メタデータ） (2026-01-30T14:23:33Z)
AMA: Adaptive Memory via Multi-Agent Collaboration [54.490349689939166]
複数の粒度にまたがるメモリ管理に協調エージェントを活用する新しいフレームワークであるAMA(Adaptive Memory via Multi-Agent Collaboration)を提案する。 AMAは、ステート・オブ・ザ・アートのベースラインを著しく上回り、トークンの消費をフルコンテキストの手法と比べて約80%削減する。
論文参考訳（メタデータ） (2026-01-28T08:09:49Z)
Memory Retention Is Not Enough to Master Memory Tasks in Reinforcement Learning [44.94110361062394]
実世界の意思決定は、安定かつ適応性のあるメモリに依存する。既存の強化学習ベンチマークとメモリ拡張エージェントは、主に保持に焦点を当てている。部分的な可観測性の下で連続的なメモリ更新を明示的にテストするベンチマークを導入する。
論文参考訳（メタデータ） (2026-01-21T15:27:23Z)
Fine-Mem: Fine-Grained Feedback Alignment for Long-Horizon Memory Management [63.48041801851891]
Fine-Memは、きめ細かいフィードバックアライメントのために設計された統一されたフレームワークである。 MemalphaとMemoryAgentBenchの実験は、Fin-Memが強いベースラインを一貫して上回ることを示した。
論文参考訳（メタデータ） (2026-01-13T11:06:17Z)
Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents [57.38404718635204]
大規模言語モデル (LLM) エージェントは、有限コンテキストウィンドウによる長距離推論において基本的な制限に直面している。既存のメソッドは通常、長期記憶(LTM)と短期記憶(STM)を独立したコンポーネントとして扱う。本稿では,エージェントのポリシーに LTM と STM 管理を直接統合する統合フレームワークである Agentic Memory (AgeMem) を提案する。
論文参考訳（メタデータ） (2026-01-05T08:24:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。