論文の概要: RRPO: Reference-Relative Policy Optimization with Stratified Conditional Rollouts
- arxiv url: http://arxiv.org/abs/2607.18470v1
- Date: Mon, 20 Jul 2026 19:40:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.23565
- Title: RRPO: Reference-Relative Policy Optimization with Stratified Conditional Rollouts
- Title（参考訳）: RRPO: 階層型条件付きロールアウトによる参照相対的政策最適化
- Abstract要約: グループ相対政策最適化(GRPO)は、検証可能なフィードバックからの強化学習において大きな効果を示している。
我々は,直接正当性に基づく優位性構築を参照相対的比較に置き換えることでGRPOを一般化するtextbfReference-Relative Policy Optimization (RRPO)を提案する。
我々は,タスクベーストラス検証に頼らずに,ポリシー最適化全体を通じてアンカーベースのコントラスト的優位性を用いてRRPOを評価する。
- 参考スコア（独自算出の注目度）: 84.20747697259326
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Group Relative Policy Optimization (GRPO) has shown strong effectiveness in reinforcement learning from verifiable feedback, where sampled rollouts can be compared within a group using task-provided correctness signals. However, extending group-relative optimization beyond verifiable settings is challenging because success in many tasks is not captured by a single correctness criterion. We propose \textbf{Reference-Relative Policy Optimization (RRPO)}, which generalizes GRPO by replacing direct correctness-based advantage construction with reference-relative contrastive comparisons. RRPO first uses \emph{stratified conditional rollouts} to construct positive and negative anchor sets, and then trains a metric projection head with a set-contrastive objective to compare candidate rollouts against these anchors. The resulting alignment scores directly define contrastive advantages: during policy optimization, the projection head is frozen, and the scores are centered within each rollout group in a standard group-relative objective. We evaluate RRPO using anchor-based contrastive advantages throughout policy optimization, without relying on task ground-truth verifiers. Across verifiable reasoning, open-ended generation, and post-SFT settings, RRPO remains competitive with verifier-based optimization, improves over weakly supervised baselines, and provides additional gains after supervised fine-tuning.
- Abstract（参考訳）: グループ相対政策最適化(GRPO)は、検証可能なフィードバックからの強化学習において、タスク提供された正当性信号を用いてグループ内でサンプルロールアウトを比較することができる強力な効果を示した。
しかしながら、検証可能な設定を超えてグループ相対最適化を拡張することは困難である。
本稿では,直接正当性に基づく優位性構築を参照相対性比較に置き換えることでGRPOを一般化する,RRPO(textbf{Reference-Relative Policy Optimization)を提案する。
RRPO はまず、正および負のアンカー集合を構成するために \emph{stratified conditional rollouts} を使用し、次に、これらのアンカーに対して候補のロールアウトを比較するために、セットコントラスト目的の計量射影ヘッドを訓練する。
結果のアライメントスコアは、ポリシー最適化の間、プロジェクションヘッドは凍結され、スコアは標準グループ相対目標において各ロールアウトグループ内で集中される。
我々は,タスクベーストラス検証に頼らずに,ポリシー最適化全体を通じてアンカーベースのコントラスト的優位性を用いてRRPOを評価する。
検証可能な推論、オープン・エンド・ジェネレーション、SFT後の設定の他、RRPOは検証器ベースの最適化と競合し続け、弱教師付きベースラインを改良し、教師付き微調整後にさらなる利得を提供する。
関連論文リスト
- Progress-conditioned Group Policy Optimization for Long-Horizon Agentic Tasks [17.832722956008656]
グループベースのポリシー最適化は、粗末な結果報酬から大規模言語モデル(LLM)エージェントを訓練するために、ますます使われてきている。
本稿では,グループ内のすべてのサンプルが結果報酬をゼロにした場合にのみ,初回観察カバレッジを利用するプログレッシブ条件付きグループポリシー最適化(ProGPO)を提案する。
ALFWorldとWebShopとQwen2.5-1.5/7B-Instructの2つの挑戦的なエージェントベンチマークの実験は、ProGPOがグループベースのベースラインよりも一貫して改善されていることを示している。
論文 参考訳（メタデータ） (2026-07-22T04:01:56Z) - LambdaPO: A Lambda Style Policy Optimization for Reasoning Language Models [34.349722314481824]
グループ相対政策最適化は、明示的な価値批判を先導する効果で評価されている。
群平均のようなモノリシックな統計ベースラインへの依存は、軌道空間の相対トポロジーを1つのスカラーに分解する。
我々は、この情報理論のボトルネックに対処する新しいフレームワークLambda Policy Optimization(LambdaPO)を紹介します。
論文 参考訳（メタデータ） (2026-05-19T06:10:24Z) - Revisiting Reinforcement Learning with Verifiable Rewards from a Contrastive Perspective [10.958642517467721]
RLVRにおけるコントラストシーケンスレベルのポリシー最適化のためのフレームワークを提案する。
ConSPOはGRPOのクリップされた比率ベースのスコアを、長さ正規化されたシーケンスログ確率に置き換える。
ConSPOは、挑戦的な数学的推論ベンチマークにおいて、いくつかの強力なRLVRベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-05-13T04:02:36Z) - Objective Shaping with Hard Negatives: Windowed Partial AUC Optimization for RL-based LLM Recommenders [74.55181072260713]
ビームサーチの負のトレーニングは、ランダムな負のトレーニングよりも一貫して優れている。
ここでは,ウィンドウに偽陽性率(FPR)を制約し,Top-K$メトリクスとより直接整合させるウィンドウ付き部分AUC(WPAUC)を紹介する。
4つの実世界のデータセットの実験は、理論を検証し、一貫した最先端のパフォーマンスを提供する。
論文 参考訳（メタデータ） (2026-04-24T12:31:57Z) - When Right Meets Wrong: Bilateral Context Conditioning with Reward-Confidence Correction for GRPO [18.988527161000203]
グループ相対政策最適化(GRPO)は、推論モデルを訓練するための効果的な方法として登場した。
本稿では,GRPOの目的が正解率と正解率とのマージンを暗黙的に最大化することを示す。
本稿では,モデルが相互参照を成功させる機構であるバイラテラルコンテキストコンディショニング(BICC)を提案する。
論文 参考訳（メタデータ） (2026-03-13T16:25:02Z) - From Absolute to Relative: Rethinking Reward Shaping in Group-Based Reinforcement Learning [7.6602542594279335]
本稿では,報酬形成を絶対得点から相対ランクへシフトさせるために,相対報酬を用いた強化学習を提案する。
RLRRは、推論ベンチマークやオープン・エンド・ジェネレーションタスクにおいて、標準グループベースベースラインよりも一貫した性能向上をもたらすことを示す。
論文 参考訳（メタデータ） (2026-01-30T15:07:06Z) - MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。
我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。
本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
論文 参考訳（メタデータ） (2026-01-12T05:02:48Z) - GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization [133.27496265096445]
我々は,グループ相対的政策最適化を,その適合性を検討することなく,マルチリワード設定で適用する方法を示す。
次に、これらの問題を解決するための新しい政策最適化手法であるグループ報酬分離正規化政策最適化(GDPO)を紹介する。
GDPOはGRPOを一貫して上回り、マルチリワード強化学習最適化の有効性と一般化性を示す。
論文 参考訳（メタデータ） (2026-01-08T18:59:24Z) - Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
VGPOは時間次元とグループ次元の両方で値の推定を再定義する。
スパース端末の報酬を密度の高いプロセス認識値推定に変換する。
標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
論文 参考訳（メタデータ） (2025-12-13T16:31:26Z) - In-context Ranking Preference Optimization [65.5489745857577]
In-context Ranking Preference Optimization (IRPO) フレームワークを提案する。
IRPOは標準のDPO手法よりも高い性能を示し、LLMと直接文脈内ランキング設定の整合性を強調した。
論文 参考訳（メタデータ） (2025-04-21T23:06:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。