論文の概要: 3SPO: State-Score-Supervised Policy Optimization for LLM Agents
- arxiv url: http://arxiv.org/abs/2606.09961v1
- Date: Mon, 08 Jun 2026 14:26:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-10 15:40:58.09449
- Title: 3SPO: State-Score-Supervised Policy Optimization for LLM Agents
- Title（参考訳）: 3SPO: LLMエージェントのステートスコア・スーパービジョンポリシー最適化
- Abstract要約: 動的状態スコア監視による後段ポリシー最適化を行う新しいRLアルゴリズムである textbf State-Score-Supervised Policy Optimization (3SPO) を提案する。
ALFWorld と WebShop の実験では、Qwen2.5-1.5B/7B-Instruct で 3SPO は ALFWorld で$+22.6%、WebShop で$+15.6$ で GRPO を一貫して上回っている。
- 参考スコア（独自算出の注目度）: 25.01222941080024
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training large language models (LLMs) as autonomous agents via reinforcement learning (RL) has enabled frontier models to achieve superhuman performance in long-horizon tasks. However, existing RL algorithms operate at the trajectory level, performing policy optimization only after collecting complete episode rollouts. This coarse-grained approach faces fundamental challenges in multi-turn agent settings where rewards are sparse, delayed, and credit assignment across individual steps is critical. In this work, we propose \textbf{State-Score-Supervised Policy Optimization (3SPO)}, a novel RL algorithm that performs post-step policy optimization with dynamic state score supervision. At each step, 3SPO computes the state score based on historical success rates, supervising step-wise credit assignment, adaptive rollout and post-step policy optimization without requiring value function estimation or additional auxiliary models. Theoretically, under a per-state bandit abstraction, we show that the proposed score-supervised allocation mechanism achieves logarithmic allocation regret and provide sample-complexity guarantees for action identification, score distinguishability, and filtering stability. Experiments on ALFWorld and WebShop with Qwen2.5-1.5B/7B-Instruct show that 3SPO consistently outperforms GRPO by $+22.6\%$ on ALFWorld and $+15.6$ points on WebShop, while using comparable resources to achieve $2.4\times$ more state exploration and $1.8\times$ faster convergence. Code is available at https://github.com/genalyu/3SPO.
- Abstract（参考訳）: 大規模言語モデル(LLM)を強化学習(RL)を介して自律エージェントとして訓練することで、長期の作業においてフロンティアモデルが超人的性能を達成することができる。
しかし、既存のRLアルゴリズムは軌道レベルで動作し、完全なエピソードロールアウトの収集後にのみポリシー最適化を行う。
この粗粒化アプローチは、報酬がばらばらで、遅延し、個々のステップにまたがるクレジット割り当てが重要となるマルチターンエージェント設定において、基本的な課題に直面します。
本研究では,動的状態スコア監視による後処理ポリシ最適化を行う新しいRLアルゴリズムである「textbf{State-Score-Supervised Policy Optimization(SPO)」を提案する。
それぞれのステップで、3SPOは歴史的成功率に基づいて状態スコアを計算し、価値関数推定や追加補助モデルを必要としないステップワイドクレジット割り当て、アダプティブロールアウト、ステップ後ポリシー最適化を監督する。
理論的には、状態ごとのバンドイットの抽象化の下で、提案手法は対数的アロケーション・リセットを達成し、動作識別、スコア識別性、フィルタリング安定性のためのサンプル・コンプレクティビティ保証を提供する。
ALFWorld と WebShop での Qwen2.5-1.5B/7B-Instruct の実験では、3SPO は ALFWorld で GRPO を$+22.6 %、WebShop で$+15.6 ポイントで一貫して上回っている。
コードはhttps://github.com/genalyu/3SPOで入手できる。
関連論文リスト
- SAPO: Single-Rollout Autoregressive Policy Optimization for Agentic Reinforcement Learning [13.558040481824037]
エージェント強化学習(RL)は,大規模言語モデルのポストトレーニングにおいて重要な段階となっている。
本稿では,シングルロールアウト型自己回帰政策最適化(SAPO)を提案する。これは低メモリかつ計算効率のフレームワークで,ポリシーと値関数が単一の自己回帰バックボーンを共有する。
論文 参考訳（メタデータ） (2026-08-20T09:43:47Z) - AT$^2$PO: Agentic Turn-based Policy Optimization via Tree Search [19.443576967819684]
LLMエージェントは、内部推論と外部ツールの相互作用をインターリーブすることによって、マルチターンタスクに対処する強力なシステムとして登場した。
マルチターンエージェントRLのための統合フレームワークであるAT$2$POを提案する。
論文 参考訳（メタデータ） (2026-01-08T09:35:49Z) - Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。
我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。
我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
論文 参考訳（メタデータ） (2025-09-23T16:15:42Z) - Accelerating RL for LLM Reasoning with Optimal Advantage Regression [52.0792918455501]
本稿では,最適優位関数を直接近似する新しい2段階ポリシー最適化フレームワークを提案する。
A$*-POは、幅広い数学的推論ベンチマークで競合性能を達成する。
PPO、GRPO、REBELと比較して、トレーニング時間を最大2$times$、ピークメモリ使用率を30%以上削減する。
論文 参考訳（メタデータ） (2025-05-27T03:58:50Z) - Group-in-Group Policy Optimization for LLM Agent Training [17.243181792126563]
Group-in-Group Policy Optimization (GiGPO) は、LLMエージェントのきめ細かいクレジット割り当てを実現する新しいRLアルゴリズムである。
我々は, ALFWorld や WebShop などのエージェントベンチマークに対する GiGPO の評価と,検索強化されたQA タスクに対するツール統合推論を行った。
論文 参考訳（メタデータ） (2025-05-16T08:26:59Z) - Scalable Online Exploration via Coverability [45.66375686120087]
探索は、特に関数近似を必要とする高次元領域において、強化学習において大きな課題である。
従来の探索手法を一般化し,3つの基本デシラタをサポートする新しい目的である$L_Coverageを導入する。
$L_Coverageは、カバー可能性の低いMDPにおけるオンライン(リワードフリーまたは報酬駆動)強化学習のための、最初の計算効率のよいモデルベースおよびモデルフリーのアルゴリズムを可能にする。
論文 参考訳（メタデータ） (2024-03-11T10:14:06Z) - Maximize to Explore: One Objective Function Fusing Estimation, Planning,
and Exploration [87.53543137162488]
我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。
textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。
様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
論文 参考訳（メタデータ） (2023-05-29T17:25:26Z) - Human-in-the-loop: Provably Efficient Preference-based Reinforcement
Learning with General Function Approximation [107.54516740713969]
本研究は,RL(Human-in-the-loop reinforcement learning)を軌道的嗜好で検討する。
各ステップで数値的な報酬を受ける代わりに、エージェントは人間の監督者から軌道上のペアよりも優先される。
一般関数近似を用いたPbRLの楽観的モデルベースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-23T09:03:24Z) - On Reward-Free RL with Kernel and Neural Function Approximations:
Single-Agent MDP and Markov Game [140.19656665344917]
エージェントが事前に特定された報酬関数を使わずに環境を徹底的に探索することを目的とした報酬のないRL問題について検討する。
関数近似の文脈でこの問題に取り組み、強力な関数近似器を活用する。
我々は、カーネルとニューラルファンクション近似器を用いた、証明可能な効率の良い報酬なしRLアルゴリズムを確立した。
論文 参考訳（メタデータ） (2021-10-19T07:26:33Z) - Queueing Network Controls via Deep Reinforcement Learning [0.0]
待ち行列ネットワークのためのポリシ最適化アルゴリズムを開発した。
このアルゴリズムは、文学における最先端よりも優れた制御ポリシーを一貫して生成する。
PPOアルゴリズムの成功の鍵は、相対値関数を推定するために3つの分散還元技術を使用することである。
論文 参考訳（メタデータ） (2020-07-31T01:02:57Z) - Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。
本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-01T17:47:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。