論文の概要: RLVR$^{2}$: Reinforcement Learning with Verifiable Rubric-based Ranking

• arxiv url: http://arxiv.org/abs/2609.23457v1
• Date: Sun, 20 Sep 2026 08:34:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.83172
• Title: RLVR$^{2}$: Reinforcement Learning with Verifiable Rubric-based Ranking
• Title（参考訳）: RLVR$^{2}$: 検証可能なルーブリックランキングによる強化学習
• Abstract要約: Reinforcement Learning with Verifiable Rewards (RLVR) は、数学やコードなど、明確に定義された正当性信号を持つタスクから、多次元ルーリックによって定義された多面的品質要件へと拡張されている。 本稿では,ルーリックベースRLVRのランキングパラダイムであるRLVR$2$を提案する。 各基準に対して、RLVR$2$はルーブリックスコアを基準固有のグループ内順序結果に変換し、結果の比較行列から潜在ユーティリティを回復し、これらのユーティリティを1つのトレーニング信号にマージする。
• 参考スコア（独自算出の注目度）: 13.774317167730553
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) is expanding from tasks with well-defined correctness signals, such as mathematics and code, toward multifaceted quality requirements specified by multi-dimensional rubrics. Since policy optimization consumes one scalar per rollout, rubric-based pipelines must map multiple criterion scores into a scalar reward. This aggregation is often treated as score scaling, but it implicitly determines how quality dimensions trade off during training. The prevailing practice, normalizing each criterion and taking a linear combination, assumes that cardinal score differences are comparable across criteria and that gains on one criterion compensate for failures on another; both assumptions are unreliable when criteria are semantically heterogeneous. We propose Reinforcement Learning with Verifiable Rubric-based Ranking (RLVR$^2$), a verifiable ranking paradigm for rubric-based RLVR. For each criterion, RLVR$^2$ converts rubric scores into criterion-specific within-group ordinal outcomes, recovers a latent utility from the resulting comparison matrix, and merges these utilities into one training signal. By retaining only within-group ordering and discarding raw score magnitudes, RLVR$^2$ avoids calibrating heterogeneous rubric scales. It further supports objective-preserving attribute adjustment: auxiliary attributes that correlate with observed rankings but are not training objectives can enter the estimation without expanding the rubric or rewarding them directly. Across three model scales and 16 benchmarks, RLVR$^2$ consistently outperforms representative rubric-based baselines, achieving the best overall performance on most benchmarks at every scale. Analysis shows it controls systematic effects tied to reasoning efficiency and response formatting while preserving the quality objective.
• Abstract（参考訳）: Reinforcement Learning with Verifiable Rewards (RLVR) は、数学やコードなど、明確に定義された正当性信号を持つタスクから、多次元ルーリックによって定義された多面的品質要件へと拡張されている。 ポリシー最適化はロールアウト毎に1つのスカラーを消費するため、ルーブリックベースのパイプラインは複数のクレータースコアをスカラー報酬にマッピングする必要がある。 このアグリゲーションはスコアスケーリングとして扱われることが多いが、トレーニング中に品質次元がどのようにトレードオフされるかを暗黙的に決定する。 一般的な慣行では、各基準を正規化し、線形組み合わせを取ることで、スコアの差は基準間で同等であり、一方の基準の差は他方の故障を補うと仮定する。 本稿では,ルーブリックをベースとしたRLVRの格付けパラダイムであるRLVR$^2$(Reinforcement Learning with Verified Rubric-based Ranking)を提案する。 各基準に対して、RLVR$^2$はルーブリックスコアを基準固有のグループ内順序結果に変換し、結果の比較行列から潜在ユーティリティを回復し、これらのユーティリティを1つのトレーニング信号にマージする。 RLVR$^2$は、グループ内オーダーのみを保持し、生のスコアの等級を破棄することによって、不均一なルーリックスケールの校正を避ける。 観察されたランクと相関するが、訓練対象でない補助属性は、ルーブを拡大したり、直接報酬を与えることなく、見積もりに入ることができる。 3つのモデルスケールと16のベンチマークで、RLVR$^2$は典型的なルーリックベースのベースラインを一貫して上回り、すべてのスケールでほとんどのベンチマークで最高のパフォーマンスを達成する。 分析は、品質目標を維持しながら、推論効率と応答フォーマッティングに関連する系統的な効果を制御していることを示している。

関連論文リスト

• RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling [30.036504233085623]
  ビデオ生成モデルの最適化には強化学習が不可欠である。 ビデオ報酬モデルは、複雑な主観的なビデオ品質を直接1つのスコアにマッピングするため、不安定なスカラースコアを生成する。 RewardVerseは,ルーリックベースのビデオ報酬フレームワークである。
  論文  参考訳（メタデータ） (2026-09-19T11:01:14Z)
• RADAR: Rubric-Aware Dependency and Redundancy Analysis for LLM-as-Judge Evaluation [3.339065092252818]
  本稿では,行動結合評価基準を推定するための診断フレームワークであるRADARを紹介する。 ルリックが与えられた後、RADARはターゲットとなる合成プローブを生成し、全ての基準で各プローブをスコアし、方向結合行列を生成する。 RADARは、基準ごとに少数のプローブのみを使用して、人間の基準間の相関構造を復元する。
  論文  参考訳（メタデータ） (2026-08-03T07:21:32Z)
• Not Every Rubric Teaches Equally: Policy-Aware Rubric Rewards for RLVR [15.763726386280723]
  POW3Rは、人重とカテゴリーバランスを目的とする政策対応報酬フレームワークである。 POW3Rはロールアウトレベルのコントラストを使用して、現在ポリシーの出力を分離している基準を強調する。
  論文  参考訳（メタデータ） (2026-05-19T17:50:18Z)
• CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
  本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
  論文  参考訳（メタデータ） (2026-05-19T10:59:19Z)
• Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward [69.99652051809737]
  本研究では,検証自由な内在性勾配項再帰(VIGOR)を提案する。 VIGORはポリシーモデルのみを使用する単純な報酬です。 数学データのみに基づいてトレーニングされた場合、コードベンチマークへのクロスドメイン転送を示す。
  論文  参考訳（メタデータ） (2026-05-11T03:15:37Z)
• Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO [70.38763678943648]
  検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。 標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。 トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
  論文  参考訳（メタデータ） (2026-04-14T09:48:46Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
  コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。 トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。 不均衡回帰タスクを解くために階層型分類器を構築することを提案する。 不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2023-10-26T04:54:39Z)
• Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
  本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。 xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。 提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
  論文  参考訳（メタデータ） (2023-07-27T07:42:44Z)
• Improved Design of Quadratic Discriminant Analysis Classifier in Unbalanced Settings [19.763768111774134]
  分類のための二次判別分析(QDA)またはその正規化バージョン(R-QDA)は推奨されないことが多い。 本稿では2つの正規化パラメータと修正バイアスに基づく改良されたR-QDAを提案する。
  論文  参考訳（メタデータ） (2020-06-11T12:17:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。