論文の概要: Rubrics from the Task, Verdicts from Evidence: Pointwise Rubric Rewards with Tool-Augmented Judges

• arxiv url: http://arxiv.org/abs/2610.18766v1
• Date: Tue, 13 Oct 2026 17:27:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:51:56.576039
• Title: Rubrics from the Task, Verdicts from Evidence: Pointwise Rubric Rewards with Tool-Augmented Judges
• Title（参考訳）: 根拠から判断する : ツール強化審査員によるポイントワイド・ルーブリック・リワード
• Abstract要約: 本稿では,厳格な規則と格付けされた原則を導出し,命令のみを推論するポイントワイドルーブリックであるReVeRを提案する。 実験により、ReVeRは平均的な選好精度でペアワイズルーリックよりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 5.6314567092029355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rubric-based reward models (RMs) evaluate responses against explicit criteria. However, existing methods often derive criteria from observed response candidates, introducing response-induced bias that may limit rubric generalizability. Their judges also struggle with mechanical constraints when relying on reading alone, and commonly used pairwise judges provide only relative preferences, complicating their direct use for policy optimization. We propose ReVeR, a pointwise rubric RM that derives hard rules and graded principles by reasoning about the instruction alone and evaluates responses independently through tool-augmented judging. Both components are trained through label-blind distillation, in which preference labels only filter a teacher's outputs, yielding ReVeR-Traces, a large-scale dataset of rubric-reasoning and judging trajectories. Experiments demonstrate that ReVeR outperforms pairwise rubric RMs in average preference accuracy, most clearly on instruction following, as well as in test-time scaling and downstream policy optimization. We further find that generator RL improves preference accuracy while reducing rubric fidelity, and that higher preference accuracy does not necessarily translate into better downstream policies. These findings highlight that rubric fidelity, preference accuracy, and downstream utility are distinct properties, shedding light on future RM research.
• Abstract（参考訳）: Rubric-based reward model (RM) は、明確な基準に対する応答を評価する。 しかし、既存の手法は、しばしば観察された応答候補から基準を導出し、応答誘起バイアスを導入し、ルビックな一般化性を制限する。 彼らの裁判官は読書だけに頼っているときも機械的な制約に悩まされ、一般的に使用されるペアワイズ・ジャッジは相対的な選好しか提供せず、政策最適化の直接的な使用を複雑にしている。 本稿では,厳格なルールと格付けされた原則を導出し,ツール強化判定による応答の独立性評価を行うことにより,ポイントワイズルーリックなRMであるReVeRを提案する。 どちらのコンポーネントもラベルブレンド蒸留によってトレーニングされており、好みラベルは教師の出力のみをフィルタリングし、大規模なルーリック推論と軌道判断のデータセットであるReVeR-Tracesを生成する。 実験により、ReVeRは平均的優先精度において、テスト時間スケーリングやダウンストリームポリシー最適化と同様に、命令に従う上で、ペアワイズなRMよりも優れていることが示された。 さらに, ジェネレータRLは, ごみの忠実度を低下させながら選好精度を向上し, 高い選好精度が必ずしも下流ポリシーに変換されないことがわかった。 これらの知見は, ゴム質の忠実度, 選好精度, 下流ユーティリティが異なる性質であり, 将来のRM研究に光を当てていることを示唆している。

関連論文リスト

• Many Voices, One Reward: Multi-Role Rubric Generation for LLM Judging and Reward Modeling [39.325422496065435]
  MRRG(Multi-Role Generation)は、複数の役割から評価基準を引き出すトレーニングフリーで参照フリーなフレームワークである。 MRRGは、ペアワイズ選好の検証と、RLOスタイルのReinforcement Learning with Verifiable Rewards(RLVR)に対する報酬の提供の両方に使用できる。
  論文  参考訳（メタデータ） (2026-07-02T07:50:38Z)
• CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
  本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
  論文  参考訳（メタデータ） (2026-05-19T10:59:19Z)
• Auto-Rubric as Reward: From Implicit Preferences to Explicit Multimodal Generative Criteria [17.272139541614383]
  Auto-Rubric as Reward (ARR)は、暗黙の重み付け最適化から明示的な基準ベースの分解まで、報酬モデリングを再構成するフレームワークである。 ARRはVLMの選好知識をプロンプト固有の勾配として外部化し、全体論的意図を独立に検証可能な品質次元に変換する。 ARR-RPOは、テキスト・ツー・イメージ生成と画像編集のベンチマークにおいて、ペアワイズ報酬モデルとVLM判事より優れている。
  論文  参考訳（メタデータ） (2026-05-08T18:05:27Z)
• RationalRewards: Reasoning Rewards Scale Visual Generation Both Training and Test Time [51.256131853751754]
  本研究では,多次元的批判を明示的に生成するために報酬モデルを教えることで,受動的評価器から能動的最適化ツールへ変換することを示す。 提案手法では, 嗜好データから高品質な論理を復元する原理的フレームワークであるpreference-Anchored Rationalization (PARROT) を導入する。 その結果、RationalRewards (8B) は、オープンソース報酬モデル間の最先端の好み予測を実現する。
  論文  参考訳（メタデータ） (2026-04-13T15:38:09Z)
• R-Align: Enhancing Generative Reward Models through Rationale-Centric Meta-Judging [69.96389360650072]
  解析精度は, 標準ラベルの精度を超えて, 下流RLHFの結果を高い精度で予測できることが示される。 我々は,金の判断でトレーニングを増強し,合理的アライメントを明示的に監督するR-Alignを提案する。
  論文  参考訳（メタデータ） (2026-02-06T15:17:11Z)
• Rethinking Rubric Generation for Improving LLM Judge and Reward Modeling for Open-ended Tasks [17.117706938140078]
  本稿では,分解フィルタサイクル上に構築された潤滑精製の原理的フレームワークRDを提案する。 RRDは粗いルブリックをきめ細かな識別基準に分解し、カバー範囲を広げ、応答間の分離を鋭くする。 評価とトレーニングの両方で、大きく、一貫した利益をもたらします。
  論文  参考訳（メタデータ） (2026-02-04T23:16:09Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Towards Rationale-Answer Alignment of LVLMs via Self-Rationale Calibration [49.53292711142047]
  LVLM(Large Vision-Language Models)は、強力な視覚的質問応答能力を示す。 本稿では,理性と答えのアライメントを反復的に調整するセルフレーションキュレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-17T11:27:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。