論文の概要: 3SPO: State-Score-Supervised Policy Optimization for LLM Agents

• arxiv url: http://arxiv.org/abs/2606.09961v1
• Date: Mon, 08 Jun 2026 14:26:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.09449
• Title: 3SPO: State-Score-Supervised Policy Optimization for LLM Agents
• Title（参考訳）: 3SPO: LLMエージェントのステートスコア・スーパービジョンポリシー最適化
• Authors: Yu Han, Kailing Li, Yang Jiao, Yulin Dai, Yuqian Fu, Linhai Zhuo, Tianwen Qian,
• Abstract要約: 動的状態スコア監視による後段ポリシー最適化を行う新しいRLアルゴリズムである textbf State-Score-Supervised Policy Optimization (3SPO) を提案する。 ALFWorld と WebShop の実験では、Qwen2.5-1.5B/7B-Instruct で 3SPO は ALFWorld で$+22.6%、WebShop で$+15.6$ で GRPO を一貫して上回っている。
• 参考スコア（独自算出の注目度）: 25.01222941080024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training large language models (LLMs) as autonomous agents via reinforcement learning (RL) has enabled frontier models to achieve superhuman performance in long-horizon tasks. However, existing RL algorithms operate at the trajectory level, performing policy optimization only after collecting complete episode rollouts. This coarse-grained approach faces fundamental challenges in multi-turn agent settings where rewards are sparse, delayed, and credit assignment across individual steps is critical. In this work, we propose \textbf{State-Score-Supervised Policy Optimization (3SPO)}, a novel RL algorithm that performs post-step policy optimization with dynamic state score supervision. At each step, 3SPO computes the state score based on historical success rates, supervising step-wise credit assignment, adaptive rollout and post-step policy optimization without requiring value function estimation or additional auxiliary models. Theoretically, under a per-state bandit abstraction, we show that the proposed score-supervised allocation mechanism achieves logarithmic allocation regret and provide sample-complexity guarantees for action identification, score distinguishability, and filtering stability. Experiments on ALFWorld and WebShop with Qwen2.5-1.5B/7B-Instruct show that 3SPO consistently outperforms GRPO by $+22.6\%$ on ALFWorld and $+15.6$ points on WebShop, while using comparable resources to achieve $2.4\times$ more state exploration and $1.8\times$ faster convergence. Code is available at https://github.com/genalyu/3SPO.
• Abstract（参考訳）: 大規模言語モデル(LLM)を強化学習(RL)を介して自律エージェントとして訓練することで、長期の作業においてフロンティアモデルが超人的性能を達成することができる。 しかし、既存のRLアルゴリズムは軌道レベルで動作し、完全なエピソードロールアウトの収集後にのみポリシー最適化を行う。 この粗粒化アプローチは、報酬がばらばらで、遅延し、個々のステップにまたがるクレジット割り当てが重要となるマルチターンエージェント設定において、基本的な課題に直面します。 本研究では,動的状態スコア監視による後処理ポリシ最適化を行う新しいRLアルゴリズムである「textbf{State-Score-Supervised Policy Optimization(SPO)」を提案する。 それぞれのステップで、3SPOは歴史的成功率に基づいて状態スコアを計算し、価値関数推定や追加補助モデルを必要としないステップワイドクレジット割り当て、アダプティブロールアウト、ステップ後ポリシー最適化を監督する。 理論的には、状態ごとのバンドイットの抽象化の下で、提案手法は対数的アロケーション・リセットを達成し、動作識別、スコア識別性、フィルタリング安定性のためのサンプル・コンプレクティビティ保証を提供する。 ALFWorld と WebShop での Qwen2.5-1.5B/7B-Instruct の実験では、3SPO は ALFWorld で GRPO を$+22.6 %、WebShop で$+15.6 ポイントで一貫して上回っている。 コードはhttps://github.com/genalyu/3SPOで入手できる。

関連論文リスト

• AT$^2$PO: Agentic Turn-based Policy Optimization via Tree Search [19.443576967819684]
  LLMエージェントは、内部推論と外部ツールの相互作用をインターリーブすることによって、マルチターンタスクに対処する強力なシステムとして登場した。 マルチターンエージェントRLのための統合フレームワークであるAT$2$POを提案する。
  論文  参考訳（メタデータ） (2026-01-08T09:35:49Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Accelerating RL for LLM Reasoning with Optimal Advantage Regression [52.0792918455501]
  本稿では,最適優位関数を直接近似する新しい2段階ポリシー最適化フレームワークを提案する。 A$*-POは、幅広い数学的推論ベンチマークで競合性能を達成する。 PPO、GRPO、REBELと比較して、トレーニング時間を最大2$times$、ピークメモリ使用率を30%以上削減する。
  論文  参考訳（メタデータ） (2025-05-27T03:58:50Z)
• Group-in-Group Policy Optimization for LLM Agent Training [17.243181792126563]
  Group-in-Group Policy Optimization (GiGPO) は、LLMエージェントのきめ細かいクレジット割り当てを実現する新しいRLアルゴリズムである。 我々は, ALFWorld や WebShop などのエージェントベンチマークに対する GiGPO の評価と,検索強化されたQA タスクに対するツール統合推論を行った。
  論文  参考訳（メタデータ） (2025-05-16T08:26:59Z)
• Scalable Online Exploration via Coverability [45.66375686120087]
  探索は、特に関数近似を必要とする高次元領域において、強化学習において大きな課題である。 従来の探索手法を一般化し,3つの基本デシラタをサポートする新しい目的である$L_Coverageを導入する。 $L_Coverageは、カバー可能性の低いMDPにおけるオンライン(リワードフリーまたは報酬駆動)強化学習のための、最初の計算効率のよいモデルベースおよびモデルフリーのアルゴリズムを可能にする。
  論文  参考訳（メタデータ） (2024-03-11T10:14:06Z)
• On Reward-Free RL with Kernel and Neural Function Approximations: Single-Agent MDP and Markov Game [140.19656665344917]
  エージェントが事前に特定された報酬関数を使わずに環境を徹底的に探索することを目的とした報酬のないRL問題について検討する。 関数近似の文脈でこの問題に取り組み、強力な関数近似器を活用する。 我々は、カーネルとニューラルファンクション近似器を用いた、証明可能な効率の良い報酬なしRLアルゴリズムを確立した。
  論文  参考訳（メタデータ） (2021-10-19T07:26:33Z)
• Queueing Network Controls via Deep Reinforcement Learning [0.0]
  待ち行列ネットワークのためのポリシ最適化アルゴリズムを開発した。 このアルゴリズムは、文学における最先端よりも優れた制御ポリシーを一貫して生成する。 PPOアルゴリズムの成功の鍵は、相対値関数を推定するために3つの分散還元技術を使用することである。
  論文  参考訳（メタデータ） (2020-07-31T01:02:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。