論文の概要: Learning What to Remember: Long-horizon Counterfactual Memory Optimization
- arxiv url: http://arxiv.org/abs/2609.37930v1
- Date: Tue, 29 Sep 2026 16:17:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.733999
- Title: Learning What to Remember: Long-horizon Counterfactual Memory Optimization
- Title（参考訳）: 思い出すべきことを学ぶ:長距離対実メモリ最適化
- Abstract要約: メモリの書き直しは、後に多くのステップでしか役に立たない。
観測されたユーティリティの多くは、書き換え前に既に保存されている情報から継承される可能性がある。
メモリゲインポリシー最適化(MGPO)について紹介する。
MGPOは、現在のダウンストリームユーティリティと将来のダウンストリームユーティリティへの限界的な貢献により、メモリ書き直しを行う。
- 参考スコア（独自算出の注目度）: 6.0483659126409774
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Persistent textual memory allows language models to carry information across long interactions, but learning what to remember is fundamentally a credit-assignment problem. A memory rewrite may only become useful many steps later, while much of the observed utility may be inherited from information already stored before the rewrite. We introduce Memory Gain Policy Optimization (MGPO), which isolates the incremental value of each memory rewrite by crediting it for its marginal contribution to current and future downstream utility. This turns delayed memory utility into a direct learning signal for optimizing what information should persist. We study MGPO on document-level information extraction, where structured supervision makes the effects of individual memory updates directly measurable. MGPO improves extraction while reducing average memory length by nearly 80% relative to the initial memory policy before optimization. The learned memory policy also supports reuse and transfer across domains, downstream models without further training. These results show that effective memory learning depends not only on preserving useful information, but on identifying which memory updates create lasting incremental value.
- Abstract（参考訳）: 永続的なテキストメモリは、言語モデルが長い相互作用をまたいで情報を伝達することを可能にするが、何を学ぶかを学ぶことは、基本的にクレジット割り当ての問題である。
メモリの書き直しはその後、多くのステップでしか役に立たないが、観測されたユーティリティの多くは、書き直しの前に既に保存されている情報から継承される。
メモリゲインポリシー最適化(MGPO)を導入し、現在のダウンストリームユーティリティと将来のダウンストリームユーティリティへの限界貢献を信用することで、各メモリリライトの漸進的な価値を分離する。
これにより、遅延メモリユーティリティは、どの情報が永続化されるべきかを最適化するための直接学習信号に変換される。
文書レベルの情報抽出において,MGPOは個々のメモリ更新の影響を直接測定できる構造的監視を行う。
MGPOは、最適化前の初期メモリポリシーと比較して平均メモリ長を80%近く削減し、抽出を改善する。
学習したメモリポリシは、さらにトレーニングすることなく、ドメイン間の再利用と転送、下流モデルをサポートする。
これらの結果から,有効なメモリ学習は有用な情報を保存することだけでなく,どのメモリ更新が持続的なインクリメンタルな価値を生み出すかを識別することに依存することがわかった。
関連論文リスト
- Mechanistic Attention Guidance for Agent Memory Refinement [32.57216046158823]
検索ヘッドアテンションは,セグメントレベルのメモリ使用量を明らかにするためのメカニスティック信号を提供する。
本稿では,注意による利用パターンを用いてセグメントレベルのメモリ更新を誘導するフレームワークであるAttention-Guided Memory Refinement (AGMR)を提案する。
論文 参考訳（メタデータ） (2026-07-20T07:17:50Z) - Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。
メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。
MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
論文 参考訳（メタデータ） (2026-07-15T08:32:40Z) - HiMPO: Hindsight-Informed Memory Policy Optimization for Less-Entangled Credit in Long-Horizon Agents [10.128343847630552]
HiMPO (Hindsight-Informed Memory Policy Optimization) は、メモリ書き込みアクションに少なからぬクレジットを割り当てるためのフレームワークである。
また,HMPOは,ツールによるエラーによる非難の漏洩を低減し,メモリ更新の帰属性を改善する。
論文 参考訳（メタデータ） (2026-06-15T06:49:18Z) - Is One Score Enough? Rethinking the Evaluation of Sequentially Evolving LLM Memory [50.857546269660276]
本稿では,大規模言語モデル(LLM)メモリを逐次進化させる診断評価フレームワークであるSeqMem-Evalを紹介する。
最終的なパフォーマンスのみに焦点を当てるのではなく、SeqMem-Evalは、シーケンシャル推論において、メモリ状態がどのように進化し、一般化し、エクスペリエンスを集約し、有用な情報を保持するかを評価する。
論文 参考訳（メタデータ） (2026-05-14T20:15:22Z) - Learning How and What to Memorize: Cognition-Inspired Two-Stage Optimization for Evolving Memory [53.8372503928207]
大規模言語モデル(LLM)エージェントは、一貫したパーソナライゼーションのために長期のユーザメモリを必要とする。
既存のメモリシステムは、主に静的で手作りの更新ルールに依存している。
MemCoEは認知にインスパイアされた2段階最適化フレームワークで、どのようにメモリを整理し、どの情報を更新すべきかを学ぶ。
論文 参考訳（メタデータ） (2026-05-01T14:45:20Z) - Graph-based Agent Memory: Taxonomy, Techniques, and Applications [63.70340159016138]
メモリはLarge Language Model(LLM)ベースのエージェントの中核モジュールとして出現する。
さまざまなパラダイムの中でグラフは、関係依存をモデル化する本質的な能力のため、エージェントメモリの強力な構造として際立っている。
本調査では, エージェントメモリの総合的な検討について, グラフベースの観点から述べる。
論文 参考訳（メタデータ） (2026-02-05T13:49:05Z) - MetaMem: Evolving Meta-Memory for Knowledge Utilization through Self-Reflective Symbolic Optimization [57.17751568928966]
自己進化型メタメモリでメモリシステムを拡張するフレームワークであるMetaMemを提案する。
メタメモリ最適化の間、MetaMemは異なるタスク間で伝達可能な知識利用経験を反復的に蒸留する。
大規模な実験ではMetaMemの有効性が示され、これは強いベースラインを3.6%以上上回っている。
論文 参考訳（メタデータ） (2026-01-27T04:46:23Z) - Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents [57.38404718635204]
大規模言語モデル (LLM) エージェントは、有限コンテキストウィンドウによる長距離推論において基本的な制限に直面している。
既存のメソッドは通常、長期記憶(LTM)と短期記憶(STM)を独立したコンポーネントとして扱う。
本稿では,エージェントのポリシーに LTM と STM 管理を直接統合する統合フレームワークである Agentic Memory (AgeMem) を提案する。
論文 参考訳（メタデータ） (2026-01-05T08:24:16Z) - Mem-α: Learning Memory Construction via Reinforcement Learning [20.916677456417464]
大きな言語モデル(LLM)エージェントは、限られたコンテキストウィンドウによって制約される。
現在のメモリ拡張エージェントは、メモリ更新のための事前に定義された命令とツールに依存している。
Mem-alphaは、エージェントに複雑なメモリシステムを効果的に管理するように訓練する強化学習フレームワークである。
論文 参考訳（メタデータ） (2025-09-30T08:02:34Z) - Leveraging Lightweight Generators for Memory Efficient Continual Learning [0.01874930567916036]
破滅的な忘れは、すべてのデータを以前のタスクからメモリに保持することで、簡単に軽減できる。
本稿では,メモリベースの連続学習アルゴリズムに必要なメモリを削減することを目的とする。
論文 参考訳（メタデータ） (2025-06-24T14:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。