Fugu-MT 論文翻訳(概要): Online Process Reward Leanring for Agentic Reinforcement Learning

論文の概要: Online Process Reward Leanring for Agentic Reinforcement Learning

arxiv url: http://arxiv.org/abs/2509.19199v2
Date: Wed, 24 Sep 2025 01:27:23 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-25 11:55:19.851532
Title: Online Process Reward Leanring for Agentic Reinforcement Learning
Title（参考訳）: エージェント強化学習のためのオンライン・プロセス・リワード学習
Authors: Xiaoqian Liu, Ke Wang, Yuchuan Wu, Fei Huang, Yongbin Li, Junge Zhang, Jianbin Jiao,
Abstract要約: 大規模言語モデル(LLM)は、強化学習(RL)を自律的なエージェントとして訓練されることが増えている。最近の研究は、プロセスの監視をエージェント学習に統合しようと試みているが、バイアスドアノテーションに悩まされている。エージェントRLの一般的なクレジットアサインメント戦略であるオンライン・プロセス・リワード・ラーニング(OPRL)を紹介する。
参考スコア（独自算出の注目度）: 92.26560379363492
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) are increasingly trained with reinforcement learning (RL) as autonomous agents that reason and act over long horizons in interactive environments. However, sparse and sometimes unverifiable rewards make temporal credit assignment extremely challenging. Recent work attempts to integrate process supervision into agent learning but suffers from biased annotation, reward hacking, high-variance from overly fine-grained signals or failtures when state overlap is rare. We therefore introduce Online Process Reward Learning (OPRL), a general credit-assignment strategy for agentic RL that integrates seamlessly with standard on-policy algorithms without relying on additional rollouts or explicit step labels. In OPRL, we optimize an implicit process reward model (PRM) alternately with the agent's policy to transform trajectory preferences into implicit step rewards through a trajectory-based DPO objective. These step rewards are then used to compute step-level advantages, which are combined with episode-level advantages from outcome rewards for policy update, creating a self-reinforcing loop. Theoretical findings guarantee that the learned step rewards are consistent with trajectory preferences and act as potential-based shaping rewards, providing bounded gradients to stabilize training. Empirically, we evaluate OPRL on three distinct agent benmarks, including WebShop and VisualSokoban, as well as open-ended social interactions with unverfiable rewards in SOTOPIA. Crucially, OPRL shows superior performance over frontier LLMs and strong RL baselines across domains, achieving state-of-the-art results with higher sample-efficiency and lower variance during training. Further analysis also demonstrates the efficient exploration by OPRL using fewer actions, underscoring its potential for agentic learning in real-world scenarios.
Abstract（参考訳）: 大規模言語モデル(LLM)は、対話的環境における長い地平線を推論し行動する自律的なエージェントとして強化学習(RL)を用いて、ますます訓練されている。しかし、希少かつ時には検証不能な報酬は、時間的クレジットの割り当てを極めて困難にしている。最近の研究は、プロセスの監督をエージェント学習に統合しようとするが、バイアスドアノテーション、報酬ハッキング、過度にきめ細かな信号からの高分散、あるいは状態の重複が稀な時に失敗に苦しむ。そこで我々は,OPRL(Online Process Reward Learning)を導入した。これはエージェントRLの一般的なクレジットアサインメント戦略で,ロールアウトや明示的なステップラベルに頼ることなく,標準的なオンラインアルゴリズムとシームレスに統合する。 OPRLでは,プロセス報酬モデル(PRM)をエージェントのポリシーと交互に最適化し,軌道に基づくDPOの目的を通じて,軌道上の選好を暗黙的なステップ報酬に変換する。これらのステップ報酬はステップレベルのアドバンテージを計算し、ポリシ更新の成果報酬からエピソードレベルのアドバンテージと組み合わせて、自己強化ループを生成する。理論的には、学習されたステップ報酬は軌道上の選好と一致し、ポテンシャルに基づくシェーピング報酬として機能し、トレーニングを安定させる境界勾配を与える。実証的に,WebShop や VisualSokoban を含む3つの異なるエージェントによる OPRL の評価を行った。重要なことは、OPRLは、フロンティアLLMよりも優れた性能を示し、ドメイン間の強いRLベースラインを示し、トレーニング中のサンプル効率が高く、分散度の低い最先端の結果を達成する。さらに分析は、OPRLによるより少ないアクションによる効率的な探索を実証し、現実世界のシナリオにおけるエージェント学習の可能性を強調している。

論文の概要: Online Process Reward Leanring for Agentic Reinforcement Learning

関連論文リスト