論文の概要: Uni-Mem: Learning a Long-Horizon Agentic Memory Manager with Unified Online Policy Optimization

• arxiv url: http://arxiv.org/abs/2610.29671v1
• Date: Wed, 21 Oct 2026 12:48:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.362261
• Title: Uni-Mem: Learning a Long-Horizon Agentic Memory Manager with Unified Online Policy Optimization
• Title（参考訳）: Uni-Mem: 統一オンラインポリシー最適化による長期エージェントメモリマネージャの学習
• Abstract要約: 長期のエージェントメモリは、メモリ構築と検索のための学習可能なポリシーへとシフトしている。 既存の学習ベースの手法は、構築のみを最適化するか、検索側オンライン強化学習(RL)とオフライン構築監督を組み合わせたものである。 本稿では,各ロールアウトグループ内の他のステージからの変動を制御しながら,構築と検索の最適化を交互に行う段階分離GRPOを提案する。 LoCoMoとLongMemEvalの実験では、Uni-MemはRLベースのメモリよりも優れていた。
• 参考スコア（独自算出の注目度）: 39.29654644483115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-term agent memory is shifting from predefined workflows toward learnable policies for memory construction and retrieval. Existing learning-based methods either optimize construction alone or combine retrieval-side online reinforcement learning (RL) with offline construction supervision, limiting co-adaptation between the two stages. In this paper, we explore end-to-end online RL for a unified memory manager (Uni-Mem) that learns both capabilities under a shared policy. However, joint optimization with existing RL algorithms such as GRPO faces confounded group comparisons and sparse feedback over long memory-management trajectories. To this end, we propose Stage-Decoupled GRPO, which alternates construction and retrieval optimization while controlling variation from the other stage within each rollout group, yielding stage-specific learning signals. We further introduce Event-Wise Credit Assignment (ECA), which localizes feedback to responsible events and propagates event-level advantages to their constituent operations. Experiments on LoCoMo and LongMemEval show that Uni-Mem outperforms the strongest RL-based memory, demonstrating the effectiveness of jointly learning memory construction and retrieval via Stage-Decoupled GRPO and ECA.
• Abstract（参考訳）: 長期のエージェントメモリは、事前に定義されたワークフローから、メモリ構築と検索のための学習可能なポリシーへとシフトしている。 既存の学習ベースの手法は、構築のみを最適化するか、検索側オンライン強化学習(RL)とオフライン構築監督を組み合わせたもので、2段階間の協調適応を制限している。 本稿では,共有ポリシの下で両機能を学習する統一メモリマネージャ(Uni-Mem)のエンドツーエンドオンラインRLについて検討する。 しかし、GRPOのような既存のRLアルゴリズムとの結合最適化は、長いメモリ管理トラジェクトリに対するグループ比較とスパースフィードバックに相反する。 そこで本研究では,各ロールアウトグループ内の他のステージからの変動を制御しながら構築と検索の最適化を交互に行い,ステージ固有の学習信号を生成するGRPOを提案する。 さらに、イベント・ワイズ・クレジット・アサインメント(ECA)を導入し、責任あるイベントへのフィードバックをローカライズし、イベントレベルの利点をその構成操作に広める。 LoCoMoとLongMemEvalの実験により、Uni-MemはRLベースのメモリよりも優れており、Stage-Decoupled GRPOとECAによる共同学習メモリ構築と検索の有効性が示された。

関連論文リスト

• What Training Data Teaches RL Memory Agents: An Empirical Study of Curriculum Effects in Memory-Augmented QA [6.180594609315985]
  強化学習(Reinforcement Learning, RL)は、マルチセッション対話において、外部記憶バンクを推論するためにLLMエージェントを訓練するための実行可能なレシピとして登場した。 本稿では、アーキテクチャ、RLアルゴリズム、および全てのハイパーパラメータを固定し、3つの条件でトレーニングカリキュラムだけを変化させる制御された経験的研究について述べる。 2つのベンチマークと10の質問タイプにまたがって、カリキュラム構成はパフォーマンスの均一なスケーリングファクタではなく、特殊化の細かいレバーとして機能する。
  論文  参考訳（メタデータ） (2026-05-21T21:58:10Z)
• Memory-R2: Fair Credit Assignment for Long-Horizon Memory-Augmented LLM Agents [27.2861945963127]
  メモリ拡張LDMエージェントは、有限コンテキストウィンドウを超えて拡張されるインタラクションを可能にする。 マルチセッション環境における強化学習によるエージェントの育成は困難である。 メモリ拡張LDMエージェントのトレーニングフレームワークであるMemory-R2を紹介する。
  論文  参考訳（メタデータ） (2026-05-20T22:02:00Z)
• UI-Mem: Self-Evolving Experience Memory for Online Reinforcement Learning in Mobile GUI Agents [50.053654092780825]
  オンライン強化学習(RL)は、直接的な環境相互作用を通じてGUIエージェントを強化するための有望なパラダイムを提供する。 階層的エクスペリエンスメモリによるGUIオンラインRLを強化する新しいフレームワークであるUI-Memを提案する。 UI-Memは従来のRLベースラインや静的再利用戦略よりも大幅に優れています。
  論文  参考訳（メタデータ） (2026-02-05T16:21:43Z)
• Omni-Thinker: Scaling Multi-Task RL in LLMs with Hybrid Reward and Task Scheduling [66.0871543682453]
  我々はOmni-Thinkerについて紹介する。Omni-Thinkerは多種多様なタスクにわたって大きな言語モデルをスケールする統合強化学習フレームワークである。 我々のスケジューラは,BWTに基づいてタスクを順序付けし,マルチタスク性能を向上する。
  論文  参考訳（メタデータ） (2025-07-20T01:50:16Z)
• Co-Reinforcement Learning for Unified Multimodal Understanding and Generation [53.03303124157899]
  本稿では,統一多モーダル大言語モデル(ULM)に対するグループ相対的政策最適化による強化学習(RL)の先駆的な探索について述べる。 共同最適化のための統一RLステージとタスク固有強化のための改良RLステージからなる協調強化学習フレームワークであるCoRLを紹介する。 提案したCoRLでは,3つのテキスト・画像生成データセットで平均7%,9つのマルチモーダル理解ベンチマークで平均23%の改善を実現している。
  論文  参考訳（メタデータ） (2025-05-23T06:41:07Z)
• Reinforcement Learning for Dynamic Memory Allocation [0.09960699557848594]
  本稿では,RLエージェントがシステムとのインタラクションから連続的に学習し,メモリ管理の戦術を改善する枠組みを提案する。 その結果、RLは従来のアロケーション戦略にマッチし、超えるエージェントを訓練できることがわかった。 また,アロケータの複雑な要求パターン処理能力を高めるために,従来のアロケーション要求を利用した履歴対応ポリシの可能性についても検討する。
  論文  参考訳（メタデータ） (2024-10-20T20:13:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。