論文の概要: sGPO: Trading Inference FLOPs for Training Efficiency in RLVR

• arxiv url: http://arxiv.org/abs/2606.08854v1
• Date: Sun, 07 Jun 2026 21:47:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.487279
• Title: sGPO: Trading Inference FLOPs for Training Efficiency in RLVR
• Title（参考訳）: sGPO:RLVRにおけるトレーニング効率のための取引推論FLOP
• Authors: Shivchander Sudalairaj, Kai Xu, Akash Srivastava, Giorgio Giannone,
• Abstract要約: 標準強化学習(Standard Reinforcement Learning with Verifiable Rewards, RLVR)トレーニングは、クエリ毎に一定のロールアウト予算を割り当てる。 簡単なクエリは、ポリシーがすでにそれを解決しているのに対して、解決不可能なクエリは、ポリシーがそれを解決していないためにシグナルを発生しないため、ほぼゼロに近いアドバンテージを生み出す。 本稿では,小予算の推論FLOPを,無駄な学習FLOPの大幅な削減のために取引する計算効率の高い戦略であるソートされたグループポリシー最適化(sGPO)を紹介する。
• 参考スコア（独自算出の注目度）: 15.69155608127456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard Reinforcement Learning with Verifiable Rewards (RLVR) training allocates a fixed rollout budget to every query, without regard for what each query's difficulty means for the current policy. This leads to two symmetric failure modes: easy queries produce near-zero advantage because the policy already solves them, while unsolvable queries produce no signal because the policy never solves them. Both regimes waste training FLOPs without contributing to a learning gradient. We introduce sorted Group Policy Optimization (sGPO), a compute-efficient strategy that trades a small budget of inference FLOPs for a large reduction in wasted training FLOPs. The key insight is that cheap inference compute can serve as a single offline proxy for query difficulty. By generating a small batch of parallel samples per query under the initial policy, we obtain a model-aware empirical success rate. This motivates setting the training rollout group size to the inverse of this success rate, a practical rule that maximizes sample efficiency by extracting the most advantage per generated rollout. This single profiling pass simultaneously drives data filtering (removing trivial queries and sub-sampling unsolvable ones), adaptive group size allocation, and curriculum construction (scheduling queries from easy to hard). sGPO matches or exceeds baseline performance while reducing total training compute by a factor of three, with the upfront inference profiling cost included.
• Abstract（参考訳）: 標準強化学習(Standard Reinforcement Learning with Verifiable Rewards, RLVR)トレーニングは、各クエリの難しさが現在のポリシーに何を意味するかに関係なく、各クエリに一定のロールアウト予算を割り当てる。 簡単なクエリは、ポリシーがすでにそれを解決しているのに対して、解決不可能なクエリは、ポリシーがそれを解決していないためにシグナルを発生しないため、ほぼゼロに近いアドバンテージを生み出す。 どちらも学習勾配に寄与することなく、FLOPを無駄に訓練する。 本稿では,小予算の推論FLOPを,無駄な学習FLOPの大幅な削減のために取引する計算効率の高い戦略であるソートされたグループポリシー最適化(sGPO)を紹介する。 キーとなる洞察は、安価な推論計算がクエリの難易度のための単一のオフラインプロキシとして機能する、ということだ。 初期ポリシーの下でクエリ毎の並列サンプルの小さなバッチを生成することにより、モデル対応の実証的成功率を得る。 これにより、トレーニングロールアウトグループのサイズをこの成功率の逆数に設定する動機付けとなる。 このシングルプロファイリングパスは、データフィルタリング(自明なクエリを削除し、解決不可能なクエリをサブサンプリングする)、適応的なグループサイズ割り当て、カリキュラム構成(クエリを簡単から困難にスケジュールする)を同時に実行します。 sGPOは,事前推論プロファイリングコストを伴って,総トレーニング計算を3倍に削減しながら,ベースライン性能に適合または超過する。

関連論文リスト

• RLVR without Ineffective Samples: Group Prioritized Off-Policy Optimization for LLM Reasoning [49.04912820721943]
  Group Prioritized Off-Policy Optimization (POPO)は、ロールアウトオーバーヘッドを発生させることなく、効果的なトレーニングバッチを活用するフレームワークである。 POPOは2つの重要なコンポーネントで構成されている。 POPOはRL微細化を著しく加速し、ロールアウトを著しく少なくして強力な推論性能を達成する。
  論文  参考訳（メタデータ） (2026-05-31T15:06:38Z)
• Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
  Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。 本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。 刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
  論文  参考訳（メタデータ） (2026-03-04T14:48:53Z)
• Adaptive Rollout Allocation for Online Reinforcement Learning with Verifiable Rewards [26.5011687714416]
  既存のグループベースのポリシー最適化手法は、すべてのトレーニングプロンプトに対して一定数のロールアウトを割り当てる。 この均一な割り当ては全てのプロンプトを等しく情報的扱いし、非効率的な計算予算の使用と訓練の進捗を妨げる可能性がある。 本稿では、既存のバッチのプロンプトに所定のロールアウト予算を割り当て、ポリシー更新のグラデーションのばらつきを最小限に抑える可変インフォームド予測割当戦略であるVIPを紹介する。
  論文  参考訳（メタデータ） (2026-02-02T03:50:01Z)
• VADE: Variance-Aware Dynamic Sampling via Online Sample-Level Difficulty Estimation for Multimodal RL [38.782188833641676]
  GRPOやGSPOのようなグループベースのポリシー最適化手法は、マルチモーダルモデルのトレーニングの標準となっている。 グループ内のすべての応答が同じ報酬を受けると、それらは致命的な急激な消滅問題に悩まされる。 textbfVADEは,オンラインサンプルレベルの難易度を用いたサンプリングフレームワークである。
  論文  参考訳（メタデータ） (2025-11-24T08:59:54Z)
• Training-Free Group Relative Policy Optimization [34.73950078782136]
  我々は,Large Language Model (LLM) エージェントが,経験的知識を先行するトークンとして学習することで,出力分布に類似した効果を得られることを論じる。 我々は,LLMエージェントの性能をパラメータ更新なしで向上する,費用対効果の高いソリューションであるTraining-Free Group Relative Policy Optimization (Training-Free GRPO)を提案する。 数学的推論とWeb検索タスクの実験により、DeepSeek-V3.1-Terminusに適用されたトレーニングフリーGRPOは、ドメイン外のパフォーマンスを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2025-10-09T13:18:17Z)
• TACO: Think-Answer Consistency for Optimized Long-Chain Reasoning and Efficient Data Learning via Reinforcement Learning in LVLMs [50.820065021136024]
  DeepSeek R1には、大規模言語モデル(LLM)のためのかなり高度な複雑な推論がある。 最近の手法は、R1の推論能力をマルチモーダルな設定で再現しようと試みている。 視覚推論のための新しい強化学習アルゴリズムTACOを提案する。
  論文  参考訳（メタデータ） (2025-05-27T06:30:48Z)
• Accelerating RL for LLM Reasoning with Optimal Advantage Regression [52.0792918455501]
  本稿では,最適優位関数を直接近似する新しい2段階ポリシー最適化フレームワークを提案する。 A$*-POは、幅広い数学的推論ベンチマークで競合性能を達成する。 PPO、GRPO、REBELと比較して、トレーニング時間を最大2$times$、ピークメモリ使用率を30%以上削減する。
  論文  参考訳（メタデータ） (2025-05-27T03:58:50Z)
• Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning [55.15106182268834]
  検証可能な報奨付き強化学習(RLVR)が,大規模言語モデルにおける推論能力向上のための主要なアプローチとして登場した。 ロールアウト生成は恥ずかしく並列であり、メモリライトであるのに対して、ポリシー更新は通信量が多く、メモリ集約的である。 PODS(Policy Optimization with Down-Sampling)を導入し、戦略的に選択されたロールアウトサブセットでのみトレーニングすることで、ポリシー更新からロールアウト生成を分離する。
  論文  参考訳（メタデータ） (2025-04-18T17:49:55Z)
• Online Sub-Sampling for Reinforcement Learning with General Function Approximation [111.01990889581243]
  本稿では,RLアルゴリズムによって収集されたデータポイントの情報取得量を測定する,効率的なオンラインサブサンプリングフレームワークを確立する。 複雑性バウンド関数クラスを持つ値ベースのメソッドの場合、$proptooperatornamepolylog(K)$ timesに対してのみポリシーを更新する必要がある。 少なくとも$Omega(K)$倍のポリシーを更新する既存のアプローチとは対照的に、当社のアプローチはポリシーの解決における最適化コールの数を劇的に削減します。
  論文  参考訳（メタデータ） (2021-06-14T07:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。