論文の概要: SAPO: Single-Rollout Autoregressive Policy Optimization for Agentic Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.19842v1
- Date: Thu, 20 Aug 2026 09:43:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.525315
- Title: SAPO: Single-Rollout Autoregressive Policy Optimization for Agentic Reinforcement Learning
- Title（参考訳）: SAPO:エージェント強化学習のための単一ロールアウト自己回帰政策最適化
- Abstract要約: エージェント強化学習(RL)は,大規模言語モデルのポストトレーニングにおいて重要な段階となっている。
本稿では,シングルロールアウト型自己回帰政策最適化(SAPO)を提案する。これは低メモリかつ計算効率のフレームワークで,ポリシーと値関数が単一の自己回帰バックボーンを共有する。
- 参考スコア（独自算出の注目度）: 13.558040481824037
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agentic reinforcement learning (RL) has become a critical stage in the post-training of large language models. Existing critic-free, group-relative methods estimate policy advantages from multiple rollouts, avoiding the substantial memory overhead of conventional proximal policy optimization (PPO) and achieving strong performance on long-horizon interactive tasks. Despite their success, recent studies revealed three limitations: (1) Lack explicit value generalization and effective temporal credit assignment; (2) Suffer from potential advantage collapse in long-horizon complex tasks; (3) Require a costly trade-off between sampling budget and policy performance. In this work, we propose Single-rollout Autoregressive Policy Optimization (SAPO), a low-memory and compute-efficient framework in which the policy and value functions share a single autoregressive backbone. SAPO exploits the autoregressive structure of LLMs to produce policy and value predictions at distinct causal boundaries with shared parameters, while independently optimizing the PPO objectives and auxiliary on-policy SARSA objectives. To robustly estimate the contribution of each turn, we further introduce a trajectory-level generalized advantage estimator that combines lambda-returns with batch normalization. Experiments across ALFWorld and WebShop with Qwen2.5-1.5B/7B show that SAPO trains stably and outperforms PPO and GRPO by mean +15.1 and +12.1 percentage points, respectively, while eliminating the memory cost of a separate critic model and reducing per-iteration runtime by 33.2% over PPO.
- Abstract（参考訳）: エージェント強化学習(RL)は,大規模言語モデルのポストトレーニングにおいて重要な段階となっている。
既存の批判のないグループ相対的手法は、複数のロールアウトからポリシーの利点を推定し、従来の近似ポリシー最適化(PPO)のメモリオーバーヘッドを大幅に回避し、長期の対話的タスクにおいて強力なパフォーマンスを達成する。
その成功にもかかわらず,近年の研究では,(1)明示的価値一般化と効果的な時間的信用配分の欠如,(2)長期的複雑課題における潜在的優位性の崩壊からの脱却,(3)サンプリング予算と政策業績のトレードオフが要求される,という3つの限界が明らかになった。
本研究では,シングルロールアウト型自己回帰政策最適化(SAPO)を提案する。これは低メモリかつ計算効率のフレームワークで,ポリシーと値関数が単一の自己回帰バックボーンを共有する。
SAPO は LLM の自己回帰構造を利用して、PPO の目的と補助的な政治的 SARSA の目的を独立に最適化しながら、異なる因果境界と共有パラメータでポリシーと価値予測を生成する。
さらに,各ターンの寄与を頑健に推定するために,ラムダ-リターンとバッチ正規化を組み合わせたトラジェクトリレベルの一般化された優位推定器を導入する。
ALFWorld と WebShop の Qwen2.5-1.5B/7B による実験では、SAPO の列車は PPO と GRPO を平均 +15.1 と +12.1 で安定的に上回り、別々の批評家モデルのメモリコストを削減し、PPO よりも33.2% 削減した。
関連論文リスト
- RLVR without Ineffective Samples: Group Prioritized Off-Policy Optimization for LLM Reasoning [49.04912820721943]
Group Prioritized Off-Policy Optimization (POPO)は、ロールアウトオーバーヘッドを発生させることなく、効果的なトレーニングバッチを活用するフレームワークである。
POPOは2つの重要なコンポーネントで構成されている。
POPOはRL微細化を著しく加速し、ロールアウトを著しく少なくして強力な推論性能を達成する。
論文 参考訳（メタデータ） (2026-05-31T15:06:38Z) - Ratio-Variance Regularized Policy Optimization [64.95520246570446]
ポリシ比の分散を明示的に制約することは、信頼領域の制約に対する原則的な局所近似をもたらすことを示す。
本稿では,この制約を実装したR2bf VPO$(Ratio-Variance Regularized Policy Optimization)を紹介する。
論文 参考訳（メタデータ） (2026-05-26T09:53:42Z) - GAE Falls Short in Imperfect-Information Self-Play Reinforcement Learning [37.42112473325871]
不完全な情報ゲームにおけるセルフプレイ強化学習では、エージェントは部分的な観察可能性の下で行動する必要がある。
PPO(Proximal Policy Optimization)は、経験的成功を強く達成しているが、今後の行動のサンプリングにより、さらなるばらつきに悩まされている。
Q$-boosting, a variance-reduced advantage estimator based on a central action-value critic, and proposed Variance-reduced Policy Optimization (VRPO)。
VRPOは、Dou DizhuやHeads-Up No-Limit Texas Hold'emといった中規模から大規模まで、一貫して強力なパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-05-19T01:07:39Z) - Bounded Ratio Reinforcement Learning [62.09379476369526]
本稿では,BRRL(Bunded Ratio Reinforcement Learning)フレームワークを導入し,都市部における強化学習の課題を解決する。
本稿では,BRRL の最適化手法であるBunded Policy Optimization (BPO) を開発した。
特に,我々のフレームワークは,PPO損失の成功を解釈する新たな理論レンズを提供し,信頼領域政策最適化とクロスエントロピー法(CEM)を接続する。
論文 参考訳（メタデータ） (2026-04-20T17:59:01Z) - Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。
より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。
DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
論文 参考訳（メタデータ） (2026-02-04T18:59:04Z) - Ratio-Variance Regularized Policy Optimization for Efficient LLM Fine-tuning [48.34492357368989]
本稿では,安定なオン・ポリティクス学習をサポートし,オフ・ポリティクスデータの再利用を原則とするプリミティブ・デュアル・フレームワークを提案する。
R2VPO$は、強いクリッピングベースのベースラインよりも17%の平均的な相対的なゲインで優れたパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-01-06T14:01:42Z) - Enhancing Agentic RL with Progressive Reward Shaping and Value-based Sampling Policy Optimization [13.475938754147625]
Tool-Integrated Reasoning (TIR)で強化されたLarge Language Models (LLM)は、反復的に計画し、外部ツールを呼び、返却された情報を統合して、複雑な長期的推論タスクを解決する。
エージェント強化学習(Agentic RL)は、ツール・インタラクションの完全な軌跡よりも、そのようなモデルを最適化する。
1)バイナリ0-1検証信号のようなスパースで非インストラクティブな報酬は、中間ステップの限られたガイダンスと緩やかな収束を与える。
本稿では,PRS(Progressive Reward Shaping)とVSPO(Value-based Sampling Policy Optimization)の2つの補完手法を提案する。
論文 参考訳（メタデータ） (2025-12-08T11:59:25Z) - BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping [69.74252624161652]
適応クリッピング(BAPO)を用いたBAlanced Policy Optimizationを提案する。
BAPOはクリッピングバウンダリを動的に調整し、適応的に正と負のコントリビューションを再バランスさせ、エントロピーを保持し、RL最適化を安定化させる。
AIME 2024とAIME 2025ベンチマークでは、7B BAPOモデルがSkyWork-OR1-7Bのようなオープンソースモデルを上回っています。
論文 参考訳（メタデータ） (2025-10-21T12:55:04Z) - Accelerating RL for LLM Reasoning with Optimal Advantage Regression [52.0792918455501]
本稿では,最適優位関数を直接近似する新しい2段階ポリシー最適化フレームワークを提案する。
A$*-POは、幅広い数学的推論ベンチマークで競合性能を達成する。
PPO、GRPO、REBELと比較して、トレーニング時間を最大2$times$、ピークメモリ使用率を30%以上削減する。
論文 参考訳（メタデータ） (2025-05-27T03:58:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。