論文の概要: MemTrain: Self-Supervised Context Memory Training
- arxiv url: http://arxiv.org/abs/2606.03197v1
- Date: Tue, 02 Jun 2026 05:56:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:04.790579
- Title: MemTrain: Self-Supervised Context Memory Training
- Title（参考訳）: MemTrain: 自己監督型コンテキストメモリトレーニング
- Authors: Ziheng Li, Xingrun Xing, Haoqing Wang, Zhi-Hong Deng, Yehui Tang,
- Abstract要約: 既存のメモリエージェントアプローチは通常、下流タスクで強化学習を施したエンドツーエンドで訓練される。
MemTrainは、LLMエージェントのコンテキストメモリ能力を高めるための自己教師型トレーニングフレームワークである。
MemTrainは、異なるモデル間のダウンストリームメモリ集約推論性能を一貫して改善する。
- 参考スコア（独自算出の注目度）: 40.64801276577851
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Memory is an indispensable capability for long-horizon LLM agents, enabling them to preserve and utilize information accumulated across extended interactions. Existing memory-agent approaches are typically trained end-to-end with reinforcement learning on downstream tasks. However, collecting high-quality annotated problems for memory-intensive scenarios is costly, and the resulting training data often lack sufficient diversity to cover general memory behaviors. In this work, we propose MemTrain, a self-supervised training framework for generally enhancing the context-memory capability of LLM agents for more effective downstream post-training. MemTrain introduces two coupled proxy tasks over unlabeled Wikipedia corpora: (1) an end-to-end masked reconstruction objective, which requires the model to recover masked entities after multiple rounds of memory updates, thereby encouraging memory maintenance from the final outcome perspective; and (2) an intermediate memory recall objective, which requires the model to reconstruct masked historical information using intermediate memory states, encouraging faithful compression and memory completeness throughout the interaction process. The two objectives are jointly optimized using GRPO. Extensive experiments on long-text QA and search-based QA benchmarks demonstrate that MemTrain consistently improves downstream memory-intensive reasoning performance across different models, achieving gains of up to 17.67 points over direct task-specific post-training.
- Abstract（参考訳）: メモリは長期のLDMエージェントにとって必須の機能であり、拡張された相互作用にまたがって蓄積された情報の保存と利用を可能にする。
既存のメモリエージェントアプローチは通常、下流タスクで強化学習を施したエンドツーエンドで訓練される。
しかし、メモリ集約シナリオの高品質な注釈付き問題収集にはコストがかかり、結果として得られるトレーニングデータには、一般的なメモリ動作をカバーする十分な多様性が欠如していることが多い。
本研究では,LLMエージェントのコンテクストメモリ能力を高める自己教師型トレーニングフレームワークであるMemTrainを提案する。
MemTrainは、(1)複数回のメモリ更新後にマスクされたエンティティを復元し、最終的な結果の観点からメモリメンテナンスを促進するエンドツーエンドのマスク付き再構築目標、(2)中間記憶状態を用いてマスクされた歴史的情報を再構築し、相互作用プロセス全体を通して忠実な圧縮とメモリ完全性を奨励する中間記憶リコール目標という2つの結合したプロキシタスクを導入している。
2つの目的はGRPOを用いて共同で最適化される。
長期のQAと検索ベースのQAベンチマークに関する大規模な実験により、MemTrainは様々なモデルにわたるダウンストリームメモリ集約推論性能を一貫して改善し、タスク固有のポストトレーニングよりも最大17.67ポイント向上した。
関連論文リスト
- Memory-R2: Fair Credit Assignment for Long-Horizon Memory-Augmented LLM Agents [27.2861945963127]
メモリ拡張LDMエージェントは、有限コンテキストウィンドウを超えて拡張されるインタラクションを可能にする。
マルチセッション環境における強化学習によるエージェントの育成は困難である。
メモリ拡張LDMエージェントのトレーニングフレームワークであるMemory-R2を紹介する。
論文 参考訳（メタデータ） (2026-05-20T22:02:00Z) - Mem-T: Densifying Rewards for Long-Horizon Memory Agents [23.19373149519922]
我々は,動的更新やストリーミング入力によるマルチターン検索を行うために,軽量な階層型メモリデータベースと対話する自律メモリエージェントMem-Tを紹介する。
また,木誘導型強化学習フレームワークであるMoT-GRPOを提案する。
論文 参考訳（メタデータ） (2026-01-30T14:23:33Z) - Fine-Mem: Fine-Grained Feedback Alignment for Long-Horizon Memory Management [63.48041801851891]
Fine-Memは、きめ細かいフィードバックアライメントのために設計された統一されたフレームワークである。
MemalphaとMemoryAgentBenchの実験は、Fin-Memが強いベースラインを一貫して上回ることを示した。
論文 参考訳（メタデータ） (2026-01-13T11:06:17Z) - Memo: Training Memory-Efficient Embodied Agents with Reinforcement Learning [53.72709564555407]
Memoは、強化学習のためのトランスフォーマーベースのアーキテクチャとトレーニングのレシピである。
トレーニング中のモデルの入力と周期的な要約トークンをインターリーブすることで、メモリの生成と検索を組み込む。
グリッドワールドメタRLベンチマークとマルチオブジェクトナビゲーションタスクにおけるMemoの有効性を,フォトリアリスティック屋内環境で実証する。
論文 参考訳（メタデータ） (2025-10-22T16:24:47Z) - Mem-α: Learning Memory Construction via Reinforcement Learning [20.916677456417464]
大きな言語モデル(LLM)エージェントは、限られたコンテキストウィンドウによって制約される。
現在のメモリ拡張エージェントは、メモリ更新のための事前に定義された命令とツールに依存している。
Mem-alphaは、エージェントに複雑なメモリシステムを効果的に管理するように訓練する強化学習フレームワークである。
論文 参考訳（メタデータ） (2025-09-30T08:02:34Z) - Memory-R1: Enhancing Large Language Model Agents to Manage and Utilize Memories via Reinforcement Learning [89.55738101744657]
大規模言語モデル(LLM)は、幅広いNLPタスクで印象的な機能を示しているが、基本的にはステートレスである。
本稿では,LLMに外部メモリを積極的に管理・活用する機能を備えた強化学習フレームワークであるMemory-R1を提案する。
論文 参考訳（メタデータ） (2025-08-27T12:26:55Z) - MEM1: Learning to Synergize Memory and Reasoning for Efficient Long-Horizon Agents [84.62985963113245]
我々は,長時間のマルチターンタスクに対して,エージェントが一定のメモリで動作可能な,エンドツーエンドの強化学習フレームワークMEM1を紹介する。
各ターンでMEM1は、メモリ統合と推論を共同でサポートするコンパクトな共有内部状態を更新する。
その結果,MEM1-7Bは16目的のマルチホップQAタスクにおいて,Qwen2.5-14B-Instructと比較してメモリ使用量を3.7倍削減し,3.5倍の性能向上を示す。
論文 参考訳（メタデータ） (2025-06-18T19:44:46Z) - CMT: A Memory Compression Method for Continual Knowledge Learning of Large Language Models [22.93893181000535]
大規模言語モデル(LLM)は、データ、タスク、ユーザの好みの継続的な変更に適応する必要がある。
本稿では,これらの課題に対処するため,圧縮記憶訓練(CMT)法を提案する。
CMTは、メモリバンクに格納される新しい文書から情報を圧縮して抽出する。
これらの新しいドキュメントに関する問い合わせに答えると、モデルはこれらのドキュメントの記憶をメモリバンクから集約し、ユーザーの質問に答える。
論文 参考訳（メタデータ） (2024-12-10T10:35:19Z) - Think Before You Act: Decision Transformers with Working Memory [44.18926449252084]
決定変換器に基づく意思決定エージェントは、複数のタスクにまたがる一般化能力を示している。
この非効率性は、モデルがトレーニングを通してパラメータの振る舞いを記憶する忘れ現象に起因していると我々は主張する。
ダウンストリームタスクの情報を格納、ブレンド、検索するためのワーキングメモリモジュールを提案する。
論文 参考訳（メタデータ） (2023-05-24T01:20:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。