論文の概要: GVPO++: Group Variance Policy Optimization for LLM Post-Training and On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2609.21432v1
• Date: Fri, 18 Sep 2026 07:44:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.901168
• Title: GVPO++: Group Variance Policy Optimization for LLM Post-Training and On-Policy Distillation
• Title（参考訳）: GVPO++: LLM後処理とオンライン蒸留のためのグループ変数ポリシー最適化
• Abstract要約: 我々は,KL制約付報酬の分析解を勾配重み付け方式に統合する新しいポストトレーニング手法を提案する。 我々はGVPOが自然にオン・ポリケート蒸留(OPD)にまで拡張されていることを示す。 GVPOは、信頼性と汎用性を備えたLLMポストトレーニングのための新しいパラダイムを確立し、オンライン蒸留を原則とした。
• 参考スコア（独自算出の注目度）: 19.005045649097987
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training plays a pivotal role in enhancing the reasoning capabilities and task-specific expertise of large language models (LLMs). Despite recent advances in post-training methods, such as Group Relative Policy Optimization (GRPO), their practical deployment remains impeded by training instability arising from the reliance on importance sampling. We introduce Group Variance Policy Optimization (GVPO), a novel post-training method that integrates the analytical solution of KL-constrained reward maximization into its gradient weighting scheme. This formulation provides an intuitive interpretation: GVPO's gradient corresponds to the mean squared error between the central distance of implicit rewards and that of actual rewards. GVPO offers two key advantages: (1) it guarantees a unique optimal solution, exactly to the KL-constrained reward maximization objective, and (2) it enables flexible sampling distributions without requiring importance sampling. Beyond general post-training, we show that GVPO naturally extends to on-policy distillation (OPD). Furthermore, GVPO enables the optimization of a broad family of extended OPD objectives, providing a principled foundation for diverse objective design. By unifying theoretical guarantees with practical adaptability, GVPO establishes a new paradigm for reliable and versatile LLM post-training and on-policy distillation.
• Abstract（参考訳）: ポストトレーニングは、大規模言語モデル(LLM)の推論能力とタスク固有の専門知識を高める上で重要な役割を果たす。 グループ相対政策最適化(GRPO)のようなポストトレーニング手法の進歩にもかかわらず、その実践的展開は、重要サンプリングに依存することから生じる不安定なトレーニングによって妨げられている。 我々は,KL制約付報酬最大化の分析解を勾配重み付け方式に統合した,群分散ポリシー最適化(GVPO)について紹介する。 GVPOの勾配は暗黙の報酬の中心距離と実際の報酬の間の平均二乗誤差に対応する。 GVPOは、(1)KL制約された報酬の最大化目標に対して、一意の最適解を保証し、(2)重要サンプリングを必要とせず、柔軟なサンプリング分布を可能にする。 一般のポストトレーニング以外にも,GVPOは自然にオンライン蒸留(OPD)にまで拡張されている。 さらに、GVPOは拡張されたOPD目標の幅広いファミリーの最適化を可能にし、多様な客観的設計のための原則的な基盤を提供する。 GVPOは、理論的な保証を実用的適応性で統一することにより、信頼性と多目的なLCM後処理とオンライン蒸留の新しいパラダイムを確立する。

関連論文リスト

• AdaGRPO: A Capability-Aware Adaptive Enhancement for Flow-based GRPO [78.36537400975298]
  グループ相対政策最適化(GRPO)は、テキスト・ツー・イメージ(T2I)フローモデルと人間の嗜好の整合において顕著な成功を収めた。 我々は,現在のフローベースGRPOの学習ループが,学習者の現在の能力から根本的に切り離されていることを確認した。 本稿では,フローモデルに適した新しい能力認識型RLアルゴリズムであるAdaptive GRPO(AdaGRPO)を提案する。
  論文  参考訳（メタデータ） (2026-06-05T02:07:08Z)
• Listwise Policy Optimization: Group-based RLVR as Target-Projection on the LLM Response Simplex [43.502315311491635]
  検証可能な報酬(RLVR)による強化学習は、推論能力のインセンティブを得るための訓練後の大規模言語モデル(LLM)の標準的アプローチとなっている。 この研究は、これらの最適化戦略が共通の幾何学的構造を共有していることを明らかにする。 本稿では,ターゲット投影を明示的に行うためにLPO(Listwise Policy Optimization)を提案する。これは応答単純度に近似RLの目的を限定することで暗黙の目標をデミストし,正確な発散最小化によってポリシーを投影する。
  論文  参考訳（メタデータ） (2026-05-07T12:38:17Z)
• Bounded Ratio Reinforcement Learning [62.09379476369526]
  本稿では,BRRL(Bunded Ratio Reinforcement Learning)フレームワークを導入し,都市部における強化学習の課題を解決する。 本稿では,BRRL の最適化手法であるBunded Policy Optimization (BPO) を開発した。 特に,我々のフレームワークは,PPO損失の成功を解釈する新たな理論レンズを提供し,信頼領域政策最適化とクロスエントロピー法(CEM)を接続する。
  論文  参考訳（メタデータ） (2026-04-20T17:59:01Z)
• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization [133.27496265096445]
  我々は,グループ相対的政策最適化を,その適合性を検討することなく,マルチリワード設定で適用する方法を示す。 次に、これらの問題を解決するための新しい政策最適化手法であるグループ報酬分離正規化政策最適化(GDPO)を紹介する。 GDPOはGRPOを一貫して上回り、マルチリワード強化学習最適化の有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2026-01-08T18:59:24Z)
• ACPO: Adaptive Curriculum Policy Optimization for Aligning Vision-Language Models in Complex Reasoning [17.928214942495412]
  ACPOは、安定的で、準政治的な探索段階から、効率的で、非政治的な搾取段階へ、原則的な移行を編成する動的カリキュラムを採用している。 我々は、MathVista、LogicVista、MMMU-Proなど、挑戦的なマルチモーダル推論ベンチマークのスイートで広範な実験を行う。 その結果,ACPOはDAPOやPAPOなどの強いベースラインを一貫して上回り,最先端性能,収束の促進,訓練安定性の向上を実現している。
  論文  参考訳（メタデータ） (2025-10-01T09:11:27Z)
• DisCO: Reinforcing Large Reasoning Models with Discriminative Constrained Optimization [50.91849555841057]
  グループ相対政策最適化は大規模推論モデル(LRM)の強化学習手法である 差別学習の原則を基礎として, LRMの強化のための新たな差別的制約付き最適化フレームワークを導入する。 DisCO は GRPO と DAPO などの改良型を著しく上回り、GRPO の7%、DAPO の6% を平均的に上回っている。
  論文  参考訳（メタデータ） (2025-05-18T11:08:32Z)
• GVPO: Group Variance Policy Optimization for Large Language Model Post-Training [19.005045649097987]
  群変数ポリシー最適化(GVPO)は、KL制約された報酬を直接重みに含める分析解である。 GVPOには2つの大きな利点がある: ユニークな最適解、正確にはKL制約の報酬目的、および柔軟なサンプリング分布をサポートする。 GVPOは、理論的な保証を実用的適応性で統一することにより、信頼性と汎用性を備えたLLMポストトレーニングのための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2025-04-28T09:02:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。