論文の概要: C-GRPO: Conformal Group Relative Policy Optimization

• arxiv url: http://arxiv.org/abs/2611.05591v1
• Date: Tue, 03 Nov 2026 20:23:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.842021
• Title: C-GRPO: Conformal Group Relative Policy Optimization
• Title（参考訳）: C-GRPO: Conformal Group Relative Policy Optimization
• Abstract要約: 推論指向の言語モデルトレーニングは、ますます、複数のオン政治ロールアウトに依存している。 既存の適応予算法は、この非効率性を緩和するが、それらの停止規則は校正され、過度に探索される。 我々は,標準GPROの固定ロールアウト予算をタスク固有の非整合性スコアよりも整合しきい値に置き換えるCGRPOを提案する。
• 参考スコア（独自算出の注目度）: 8.407688648020285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning-oriented language model training increasingly relies on multiple on-policy rollouts, but standard Group Relative Policy Optimization (GRPO) uses a fixed group size, wasting compute on easy prompts and under-exploring hard ones. Existing adaptive-budget methods alleviate this inefficiency, yet their stopping rules are heuristic and do not provide a finite-sample calibration guarantee. We propose CGRPO, which replaces the fixed rollout budget of standard GPRO with calibrated conformal thresholds over task-specific nonconformity scores, combining Adaptive Prediction Set (APS)-style calibration for closed-form reasoning, a first-success score for execution-based code, automatic miscoverage selection, and periodic re-calibration. We prove finite-sample coverage for the resulting stopping rule and show that, under monotone policy improvement, recalibration induces a non-increasing expected training budget. Across six benchmarks spanning mathematics, graduate-level science, and code generation, CGRPO reduces mean training rollouts by 49-70% relative to fixed-budget GRPO while retaining strong fixed-budget accuracy, achieves the strongest pass@1 among evaluated static and dynamic baselines on different datasets, and transfers across model families with up to 82% rollout savings.
• Abstract（参考訳）: 推論指向の言語モデルトレーニングは、複数のオンラインロールアウトにますます依存するが、標準グループ相対ポリシー最適化(GRPO)は、固定のグループサイズを使用し、簡単なプロンプトで計算を無駄にし、探索の難しさを過小評価する。 既存の適応予算法は、この非効率性を緩和するが、それらの停止規則はヒューリスティックであり、有限サンプル校正保証を提供していない。 本稿では,標準GPROの固定ロールアウト予算をタスク固有の非整合性スコアに対する校正整合しきい値に置き換えるCGRPOを提案する。 その結果, 単調な政策改善の下では, 再校正が非増加的なトレーニング予算を誘導することを示す。 数学、大学院レベルの科学、コード生成にまたがる6つのベンチマークで、CGRPOは、固定予算のGRPOと比較して平均トレーニングのロールアウトを49-70%削減し、強い固定予算の精度を維持しながら、異なるデータセット上で評価された静的および動的ベースラインの中で最強のパス@1を達成する。

関連論文リスト

• Group Adaptive Clipping Policy Optimization [11.199441103932847]
  検証可能な報酬を伴う強化学習のためのグループ相対的政策最適化は、すべてのロールアウトに対して、固定重要サンプリング(IS)比クリッピング境界を用いる。 GAPO(Group Adaptive Clipping Policy Optimization)は、GRPOメソッドのプラグイン修正であり、クリッピング境界をロールアウトの利点に適応させる。 GAPOは報酬形成を必要とせず、クリッピング閾値のみを適用しながら標準のPPO/GSPOサロゲートを保持する。
  論文  参考訳（メタデータ） (2026-08-31T22:32:32Z)
• Baseline-Free Policy Optimization for Neural Combinatorial Optimization [1.2891210250935148]
  グループ相対ポリシー最適化は、サンプリングされた軌道群内の利点を正規化することによって、ベースラインを完全に排除する。 GRPOは、強力なAMベースのマルチスタートベースラインであるPOMOの2%以内で、外部ベースラインを必要としないソリューション品質を実現する。 これらの結果から,GRPO は NCO の有望なベースラインフリー代替品であり,特にベースライン依存トレーニングが脆弱な環境では有効であると考えられた。
  論文  参考訳（メタデータ） (2026-06-09T02:18:30Z)
• Ratio-Variance Regularized Policy Optimization [64.95520246570446]
  ポリシ比の分散を明示的に制約することは、信頼領域の制約に対する原則的な局所近似をもたらすことを示す。 本稿では,この制約を実装したR2bf VPO$(Ratio-Variance Regularized Policy Optimization)を紹介する。
  論文  参考訳（メタデータ） (2026-05-26T09:53:42Z)
• OGPO: Sample Efficient Full-Finetuning of Generative Control Policies [53.42266064673132]
  ジェネレーティブコントロールポリシー(GCP)は、ロボット学習に有効なパラメータ化として登場した。 この研究は、GCPを微調整するためのサンプル効率であるOGPO(Off-policy Generative Policy Optimization)を導入している。 OGPOはマルチタスク設定、高精度挿入、デクスタラス制御にまたがる操作タスクにおける最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-05-04T18:36:40Z)
• Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing [79.88256756334327]
  自己蒸留政策最適化(SDPO)は、より密集したロジットレベルの監視を提供することによってこの問題に対処する。 サンプル制御ポリシー最適化(SRPO)を提案する。 SRPOは、試料をGRPOの報酬整合強化に向け、サンプルをSDPOの目標ロジットレベルの補正に向ける。
  論文  参考訳（メタデータ） (2026-04-02T17:29:18Z)
• Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
  Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。 本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。 刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
  論文  参考訳（メタデータ） (2026-03-04T14:48:53Z)
• iGRPO: Self-Feedback-Driven LLM Reasoning [88.83313431248473]
  大規模言語モデル(LLM)は複雑な数学的問題を解く上で有望であるが、正確で一貫したソリューションを生み出すには至っていない。 IGRPO(Iterative Group Relative Policy Optimization)は、モデル生成ドラフトを通じて動的自己条件を追加するGRPOの2段階拡張である。 一致するロールアウト予算の下では、iGRPOはGRPOをベースモデルで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-09T18:45:11Z)
• PRPO: Aligning Process Reward with Outcome Reward in Policy Optimization [15.965340493880701]
  我々は、結果の信頼性とプロセスレベルのガイダンスを、批判のないフレームワークで組み合わせたプロセス相対政策最適化(PRPO)を導入する。 PRPOは意味的手がかりに基づいて推論シーケンスを分割し、PRMスコアをトークンレベルの利点に正規化し、それらの分布を結果の利点と整合させる。 MATH500では、PRPOはQwen2.5-Math-1.5Bの精度を61.2%から64.4%に改善した。
  論文  参考訳（メタデータ） (2026-01-12T04:04:43Z)
• GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization [133.27496265096445]
  我々は,グループ相対的政策最適化を,その適合性を検討することなく,マルチリワード設定で適用する方法を示す。 次に、これらの問題を解決するための新しい政策最適化手法であるグループ報酬分離正規化政策最適化(GDPO)を紹介する。 GDPOはGRPOを一貫して上回り、マルチリワード強化学習最適化の有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2026-01-08T18:59:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。