論文の概要: SetGRPO: Calibrating Grader-Induced Policy Optimization

• arxiv url: http://arxiv.org/abs/2610.36807v1
• Date: Tue, 27 Oct 2026 08:11:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.542473
• Title: SetGRPO: Calibrating Grader-Induced Policy Optimization
• Title（参考訳）: SetGRPO: Clibrating Grader-induced Policy Optimization
• Abstract要約: そこで我々は,大規模言語モデルの学習のためのSetGRPO(Set-Valued Relative Policy Optimization)を提案する。 a)ジョイント・リワード・グループは、トレーニング係数に対する共同不確実性セットを構築し、(b)選択的リスクゲイト最適化は、承認された更新の条件方向反転リスクを制御するために、大域的しきい値を選択する。 Qwen3.5とLlama3.2モデルファミリで比較したトレーニング手法の中では、マクロ平均が最も高い。
• 参考スコア（独自算出の注目度）: 24.847301407700666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rubric-based reinforcement learning uses fine-grained grader feedback to train large language models on open-ended tasks, but grader randomness can alter GRPO updates in ways that score discrepancies alone cannot characterize. Because GRPO jointly normalizes rewards within each response group and combines the resulting training coefficients with response-level gradients, a scoring discrepancy can shift the coefficients of the entire group and induce policy-dependent update changes. Selective execution further affects the direction-reversal risk of retained updates. To address this, we propose Set-Valued Group Relative Policy Optimization (SetGRPO). It comprises three modules: (a) Joint Reward Set Calibration constructs a joint uncertainty set for the training coefficients; (b) Geometry-Guided Safe Recovery maps candidate coefficients into the current policy's local update geometry and determines the largest safe recovery ratio for each response group; and (c) Selective Risk-Gated Optimization selects a global threshold through independent risk calibration to control the conditional direction-reversal risk of accepted updates while preserving the original GRPO objective. Under exchangeability, SetGRPO provides finite-sample marginal coverage for the joint coefficient set and simultaneous risk control across candidate thresholds. On ten open-ended benchmarks spanning three domains, SetGRPO achieves the highest macro average among all compared training methods on both Qwen3.5 and Llama3.2 model families.
• Abstract（参考訳）: ルーブリックベースの強化学習は、グラデーショングレーダーフィードバックを使用して、オープンエンドタスクで大きな言語モデルを訓練するが、グラデーショングレーダーランダム性は、相違点のみを評価できない方法でGRPO更新を変更することができる。 GRPOは、各応答群内の報酬を共同で正規化し、結果として得られるトレーニング係数と応答レベル勾配を結合するので、スコアリングの不一致は、グループ全体の係数をシフトさせ、ポリシーに依存した更新変更を誘導することができる。 選択実行は、保持された更新の方向反転リスクにさらに影響を及ぼす。 そこで我々は,SetGRPO(Set-Valued Group Relative Policy Optimization)を提案する。 モジュールは3つある。 (a)訓練係数の連立不確実性集合を構成する連立リワードセット校正 ロ 幾何誘導セーフリカバリは、候補係数を現在の政策の局所更新幾何にマッピングし、応答群毎の最大の安全リカバリ比率を決定する。 (c)Selective Risk-Gated Optimizationは、独立リスクキャリブレーションによりグローバルしきい値を選択し、元のGRPO目標を維持しつつ、受け入れ更新の条件的方向逆リスクを制御する。 交換性の下では、SetGRPOは結合係数セットに対して有限サンプルの限界被覆を提供し、候補しきい値を越えた同時リスク制御を提供する。 3つの領域にまたがる10のオープンエンドベンチマークにおいて、SetGRPOはQwen3.5とLlama3.2モデルファミリで比較されたトレーニング手法の中で、最高マクロ平均を達成した。

関連論文リスト

• GUPO: Gradient Uncertainty-aware Policy Optimization for Post-Training Large Language Models [44.63057841001313]
  グループ相対政策最適化(GRPO)は、大規模言語モデル(LLM)の訓練後アプローチとして広く使われている。 GRPOでは、同じミニバッチ内の異なるクエリによって引き起こされるグループ勾配を直接評価し、ポリシー更新を形成する。 私たちの経験的分析は、グループ段階の対立は、より効果的な政策更新と結びつく傾向があることを示唆している。
  論文  参考訳（メタデータ） (2026-08-18T06:22:55Z)
• RRPO: Reference-Relative Policy Optimization with Stratified Conditional Rollouts [84.20747697259326]
  グループ相対政策最適化(GRPO)は、検証可能なフィードバックからの強化学習において大きな効果を示している。 我々は,直接正当性に基づく優位性構築を参照相対的比較に置き換えることでGRPOを一般化するtextbfReference-Relative Policy Optimization (RRPO)を提案する。 我々は,タスクベーストラス検証に頼らずに,ポリシー最適化全体を通じてアンカーベースのコントラスト的優位性を用いてRRPOを評価する。
  論文  参考訳（メタデータ） (2026-07-20T19:40:25Z)
• DARC: Disagreement-Aware Alignment via Risk-Constrained Decoding [59.16244104797919]
  本稿では,リスク制約付き復号法(DARC)*による分散アライメント(Disagreement-Aware Alignment)を提案する。 DARCは応答選択を、分布的に堅牢で、リスクに敏感な意思決定として捉えている。 アライメントベンチマークの実験では、DARCは競合平均品質を維持しながら、不一致と尾のリスクを低減する。
  論文  参考訳（メタデータ） (2026-03-09T09:21:29Z)
• Personalized Group Relative Policy Optimization for Heterogenous Preference Alignment [13.085014101959118]
  我々は、バッチ統計から有利な推定を分離する新しいアライメントフレームワークであるPersonalized GRPOを紹介する。 我々はP-GRPOを多種多様なタスクで評価し、標準のGRPOよりも高速な収束と高い報酬を達成することを発見した。
  論文  参考訳（メタデータ） (2026-02-17T19:00:43Z)
• QUATRO: Query-Adaptive Trust Region Policy Optimization for LLM Fine-tuning [30.908304728142983]
  クエリ適応信頼度ポリシー最適化(QUATRO)を提案する。 QUATROは、原則化された最適化を通じて、信頼領域の制約を直接実施する。 様々な数学的推論のベンチマークで実証的な検証を行ったところ、QUITROは政策安定度の増加の下で安定な振舞いを示す。
  論文  参考訳（メタデータ） (2026-02-04T14:51:04Z)
• GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization [133.27496265096445]
  我々は,グループ相対的政策最適化を,その適合性を検討することなく,マルチリワード設定で適用する方法を示す。 次に、これらの問題を解決するための新しい政策最適化手法であるグループ報酬分離正規化政策最適化(GDPO)を紹介する。 GDPOはGRPOを一貫して上回り、マルチリワード強化学習最適化の有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2026-01-08T18:59:24Z)
• Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
  VGPOは時間次元とグループ次元の両方で値の推定を再定義する。 スパース端末の報酬を密度の高いプロセス認識値推定に変換する。 標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
  論文  参考訳（メタデータ） (2025-12-13T16:31:26Z)
• Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning [49.92803982100042]
  我々は,現在の政策と過去の政策のエントロピー比を新たなグローバル指標として用いることを提案する。 エントロピー比に双方向の制約を課すtextbfEntropy Ratio (ERC) 機構を導入する。 これは、グローバルな分布レベルでの政策更新を安定化させ、未サンプリングアクションの確率シフトを規制するPPOクリップの不能を補償する。
  論文  参考訳（メタデータ） (2025-12-05T10:26:32Z)
• Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
  本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。 本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T05:02:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。