論文の概要: RSPO: Reward-Swap Policy Optimization for Multi-Turn LLM Agents

• arxiv url: http://arxiv.org/abs/2607.04713v1
• Date: Mon, 06 Jul 2026 06:32:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:30.061631
• Title: RSPO: Reward-Swap Policy Optimization for Multi-Turn LLM Agents
• Title（参考訳）: RSPO:マルチTurn LLMエージェントの逆スワップポリシー最適化
• Authors: Qiang Liu, Taian Guo, Ruizhi Qiao, Xing Sun,
• Abstract要約: 本稿では,高密度なプロセス報酬から得られる豊富な情報を活用して,結果報酬によるトレーニングを容易にするために,Reward-Swap Policy Optimization (RSPO)を提案する。 RSPOは、最適化目標と真の結果報酬との整合性を確保しつつ、サンプル軌跡の多様性を保証する。
• 参考スコア（独自算出の注目度）: 24.215311212134882
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning holds significant potential for training large language models (LLMs) to handle multi-turn interactive tasks. However, in long-horizon, multi-turn tasks characterized by sparse outcome rewards, directly training with outcome rewards often results in slow convergence due to the sparsity of signals and the lack of fine-grained feedback. Furthermore, the model may fail to learn successful trajectories that are not sampled during training, thereby limiting its performance. Conversely, while employing customized dense process rewards provides richer signals and accelerates convergence, these surrogate rewards may exhibit potential misalignment with the ground-truth outcome rewards. This inconsistency can bias the training direction and ultimately degrade the model's final performance. In this work, we propose Reward-Swap Policy Optimization (RSPO), a method designed to leverage the rich information from dense process rewards to facilitate training with outcome rewards. By utilizing a reward-swap mechanism, RSPO ensures the diversity of sampled trajectories while guaranteeing consistency between the optimization objective and the true outcome rewards, thereby elevating the performance ceiling of the model. We conduct extensive experiments on two challenging agent benchmarks, WebShop and ALFWorld. By applying our method to various reinforcement learning algorithms, including GRPO, PPO, and GiGPO, we demonstrate that RSPO achieves consistent performance improvements across different baselines and benchmarks.
• Abstract（参考訳）: 強化学習は、大規模言語モデル(LLM)を訓練し、多ターン対話的なタスクを処理する上で大きな可能性を秘めている。 しかし、長期にわたるマルチターンタスクでは、結果報酬による直接トレーニングは、信号のばらつきときめ細かいフィードバックの欠如により、しばしば緩やかに収束する。 さらに、モデルはトレーニング中にサンプリングされていない軌道をうまく学習することができず、それによって性能が制限される。 逆に、カスタマイズされた高密度プロセス報酬を採用することで、よりリッチな信号が提供され、収束が促進される一方で、これらのサロゲート報酬は、地道的な結果報酬と潜在的なミスアライメントを示す可能性がある。 この矛盾はトレーニングの方向を偏り、最終的にモデルの最終的なパフォーマンスを低下させる可能性がある。 本研究では,高密度プロセス報酬からの豊富な情報を活用し,結果報酬によるトレーニングを容易にする手法であるReward-Swap Policy Optimization (RSPO)を提案する。 RSPOは、報酬スワップ機構を利用することで、最適化目標と真の結果報酬との整合性を確保しつつ、サンプル軌跡の多様性を確保し、モデルの性能天井を高くする。 我々は、WebShopとALFWorldの2つの挑戦的エージェントベンチマークについて広範な実験を行った。 本手法をGRPO, PPO, GiGPOを含む各種強化学習アルゴリズムに適用することにより, RSPOが様々なベースラインとベンチマークで一貫した性能向上を実現することを示す。

関連論文リスト

• Pareto-Guided Optimal Transport for Multi-Reward Alignment [59.776579791864805]
  我々は、不均一な報酬上限の下で、統一されたグローバルターゲットに対して最適化する方法を示す。 我々は、様々な報酬信号特性に合わせたオンラインとオフラインの最適化戦略を開発した。 提案手法は, 関節支配率(JDR)が11%向上し, 人体評価において約80%の勝利率を達成した。
  論文  参考訳（メタデータ） (2026-05-13T08:19:48Z)
• TMPO: Trajectory Matching Policy Optimization for Diverse and Efficient Diffusion Alignment [52.570581883709345]
  本稿では,報酬を人間レベルの報酬分布マッチングに置き換えるトラジェクティブマッチングポリシバランス最適化(TMPO)を提案する。 TMPOは最先端の手法に対する生成的多様性を9.1%向上させ、下流および効率の指標で競合性能を達成する。 大規模フロープレフィックスのマルチトラックトレーニング時間を短縮するため、TMPOはDynamic Tree Smplingモデルを導入し、動的にスケジュールされたステップでトラジェクトリがdenoisingとブランチを共有する。
  論文  参考訳（メタデータ） (2026-05-09T04:41:02Z)
• Information Gain-based Policy Optimization: A Simple and Effective Approach for Multi-Turn LLM Agents [28.145430029174577]
  大規模言語モデル(LLM)ベースのエージェントは、外部環境と対話する能力を高めるために強化学習(RL)でますます訓練されている。 既存のアプローチは通常、最終回答でのみ提供される結果に基づく報酬に依存します。 本稿では,情報ゲインに基づくポリシー最適化(IGPO)を提案する。
  論文  参考訳（メタデータ） (2025-10-16T17:59:32Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• LLM-Driven Intrinsic Motivation for Sparse Reward Reinforcement Learning [0.27528170226206433]
  本稿では,過度な報酬を伴う環境下での学習エージェントの効率向上を目的とした,本質的なモチベーション戦略の2つの組み合わせについて検討する。 本稿では,変分自動エンコーダ(VAE)の報奨状態の新規性を,大言語モデル(LLM)から派生した帰納的報奨手法を用いて,変分状態を内在的リワード(VSIMR)として統合することを提案する。 実験の結果, この組み合わせ戦略は, 各戦略を個別に使用した場合と比較して, エージェント性能と効率を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-25T19:10:58Z)
• Distributional Reward Estimation for Effective Multi-Agent Deep Reinforcement Learning [19.788336796981685]
  実効的マルチエージェント強化学習(DRE-MARL)のための分散逆推定フレームワークを提案する。 本研究の目的は,安定トレーニングのための多行動分岐報酬推定と政策重み付け報酬アグリゲーションを設計することである。 DRE-MARLの優位性は,有効性とロバスト性の両方の観点から,SOTAベースラインと比較して,ベンチマークマルチエージェントシナリオを用いて実証される。
  論文  参考訳（メタデータ） (2022-10-14T08:31:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。