論文の概要: Reward-Adaptive Co-Evolution of Policy and Rubric

• arxiv url: http://arxiv.org/abs/2610.40096v1
• Date: Thu, 29 Oct 2026 14:00:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.094692
• Title: Reward-Adaptive Co-Evolution of Policy and Rubric
• Title（参考訳）: Reward-Adaptive Co-Evolution of Policy and Rubric
• Abstract要約: 本稿では,Reward-collapse Co-EvolutionフレームワークであるRASを紹介する。 グループレベルでは、ロールアウトグループごとの訓練信号ルーティングは、グループを情報的、多様性に富んだ、オリミド、または失敗に分類する。 RACEは高い平均性能を達成し、8つのタスクにおいて最強の固定交替ベースラインを上回り、ルーリック識別を改善している。
• 参考スコア（独自算出の注目度）: 3.3504892038235496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rubric-based rewards provide fine-grained, interpretable supervision for open-ended reinforcement learning, where holistic scalar rewards struggle to capture multidimensional response quality. Static rubrics can lose discriminative power as the policy distribution evolves, while existing policy--rubric co-evolution methods rely on globally prescribed update schedules that ignore heterogeneous reward informativeness. We introduce RACE, a Reward-Adaptive Co-Evolution framework. At the group level, per-rollout-group training-signal routing classifies groups as informative, diversity-collapsed, or rubric-failed, updating the policy only with informative groups while caching rubric failures. At the phase level, event-triggered phase switching enters rubric optimization upon persistent reward saturation and returns when rubric-reward improvement plateaus. Rubric phases train the generator on cached pairs using a frozen judge and a scale-normalized pairwise-margin reward. Across both levels, online threshold adaptation adjusts routing and switching thresholds through proportional control. Under a unified evaluation protocol, RACE achieves the highest average performance and outperforms the strongest fixed-alternation baseline on all eight tasks, while improving rubric discrimination.
• Abstract（参考訳）: ルーブリックベースの報酬は、多次元の応答品質を捉えるのに、総合的なスカラー報酬が苦労する、オープンエンドの強化学習のためのきめ細かな、解釈可能な監督を提供する。 静的ルーブリックは、政策分布が進化するにつれて差別力を失う可能性があるが、既存のポリシー-ルーブリック共進化法は、不均一な報奨情報を無視した世界的な所定の更新スケジュールに依存している。 RACEはReward-Adaptive Co-Evolutionフレームワークである。 グループレベルでは、ロールアウトグループごとのトレーニング信号ルーティングは、グループを情報的、多様性的に崩壊した、あるいはルーブリックに崩壊したグループに分類し、ルーブリック障害をキャッシュしながら、情報的グループのみでポリシーを更新する。 位相レベルでは、イベントトリガーされた位相スイッチングは、永続的な報酬飽和とともにルーリック最適化に入り、ルーリック・リワード改善高原が回復する。 ルーブリックフェーズは、凍結した判定器とスケール正規化されたペアワイズ報酬を使用して、キャッシュされたペアでジェネレータを訓練する。 両方のレベルにわたって、オンラインのしきい値調整は、比例制御によってルーティングと切替しきい値を調整する。 統一された評価プロトコルの下では、RACEは最高平均性能を達成し、8つのタスクで最強の固定置換ベースラインを上回りながら、ルーリック識別を改善している。

関連論文リスト

• Co-Evolving Policy and Rubric via Capability Awareness for Open-Ended Generation [52.000019047869415]
  CoCAは、基準レベルの診断を通じてルーブリックとポリシーを適応するフレームワークである。 CoCAは、ルーリックベースのメソッドよりも一貫してパフォーマンスを改善している。
  論文  参考訳（メタデータ） (2026-10-28T10:00:30Z)
• Policy-Adaptive Credit Assignment for Spatial Reasoning with Verifiable Rewards [4.791233143264229]
  本研究では,SpatialTraceがサポートする適応型プロセス・リワードフレームワークであるCALIPERを提案する。 CALIPERは、段階的参照カバレッジとグループ内リッジ回帰による回答正解の関係を共同で推定する。 解答識別グループが少ない場合、ユーティリティ推定は信頼性が低いため、クローズドループハーネスは、チェックポイントロールバック、ロールアウト多様化、早期停止を誘導するための推定器の信頼性と検証性能を監視する。
  論文  参考訳（メタデータ） (2026-10-19T13:45:42Z)
• Revisiting On-policy Adversarial Black-Box Distillation: Calibrating Groupwise Reward Geometry for Effective Advantage Construction [78.96080253280225]
  ブラックボックス蒸留は、APIアクセス可能な大規模言語モデルから機能を移行するための実用的な方法である。 GADのような近年の政敵法は、批判者と学生の間の対立ループを形成している。 本稿では,学生側報酬グループを形作ることによって利点を享受する2段階構成フレームワークGRGCを提案する。
  論文  参考訳（メタデータ） (2026-09-30T13:53:57Z)
• EvoRubrics: Dynamic Rubrics as Rewards via Adversarial Co-Evolution for LLM Reinforcement Learning [22.209572966965165]
  EvoRubricsは、ポリシージェネレータとRLジェネレータが、各トレーニングステップ内の対角的相互作用を通じて共同で改善される、共進化的なフレームワークである。 EvoRubricsは、ベンチマーク全体で、静的および動的ルーブリックを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-22T08:46:23Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
  グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。 GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。 チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
  論文  参考訳（メタデータ） (2026-05-12T03:20:24Z)
• Coverage Improvement and Fast Convergence of On-policy Preference Learning [67.36750525893514]
  言語モデルアライメントのためのオンラインのオンラインプライオリティ学習アルゴリズムは、オフラインのアルゴリズムよりも大幅に優れている。 我々は,サンプリング政策の包括的範囲が政治訓練を通じてどのように進展するかを分析する。 一般機能クラス設定における報奨蒸留のための原則的オンライン方式を開発した。
  論文  参考訳（メタデータ） (2026-01-13T10:46:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。