論文の概要: Judging the Judges: Confidence and Disagreement in Rubrics as Rewards

• arxiv url: http://arxiv.org/abs/2610.21179v1
• Date: Thu, 15 Oct 2026 03:35:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.162888
• Title: Judging the Judges: Confidence and Disagreement in Rubrics as Rewards
• Title（参考訳）: 審判員の判断:反逆者としてのラグビーの信任と否認
• Abstract要約: 2つのメカニズムを持つRaRの新しい審査アンサンブル戦略であるRaRE(Rubrics as Rewards with Ensembles)を提案する。 RaREは、より自信のある裁判官を重み付けするために、審査員のログプロブを使うソフトライクな報酬と、高判定のロールアウトを除外するドロップ・オン・ディスラグメント・マスクを使用する。 RaREはHealthBenchとGPQA Diamondの両方で、すべてのシングルジャッジRaRを上回ります。
• 参考スコア（独自算出の注目度）: 51.67487931466592
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rubrics as Rewards (RaR) extends reinforcement learning to non-verifiable domains by using an LLM judge to score responses against a structured rubric. Prior work has focused on improving the rubric or strengthening the single judge, with comparatively little attention to how different single or multiple judges might be used during RaR training. We first show that judge identity alone produces a substantial spread in scores when training Qwen3-4B-Base on RaR-Medicine and RaR-Science across five frontier and open-weight judges. Building on this, we propose RaRE (Rubrics as Rewards with Ensembles), a novel judge ensemble strategy for RaR with two mechanisms: a soft-Likert reward that uses judge logprobs to weight more confident judges more heavily, and a drop-on-disagreement mask that excludes high-disagreement rollouts from the GRPO update. We find that this design is critical: while a naive average of judge scores fails to outperform the best single judge, RaRE outperforms every single-judge RaR variant on both HealthBench and GPQA Diamond, with per-theme analysis showing that it inherits the complementary strengths of its constituent judges. Our findings establish judge ensembling as a compelling axis for improving RaR.
• Abstract（参考訳）: Rewards (RaR) は、LLMの判定器を用いて、構造化されたルーリックに対する応答をスコアリングすることにより、強化学習を検証不可能な領域に拡張する。 以前の作業では、RARトレーニングにおいて、単独または複数の裁判官がどのように使用されるかという点に、比較的注意を払わず、ルーリックの改善や単一の裁判官の強化に重点を置いていた。 まず,5つのフロンティアおよびオープンウェイトにおけるRaR-MedicineとRaR-ScienceでQwen3-4B-Baseをトレーニングすると,判定者同一性だけでスコアが大幅に広がることを示す。 そこで我々は,RaRE(Rubrics as Rewards with Ensembles)という,RaRの新たなアンサンブル戦略を提案する。2つのメカニズム – 判断ログプロブを用いてより信頼性の高い判断を重み付けするソフトライクな報酬 – と,GRPO更新からの高分解ロールアウトを除外するドロップ・オン・ディスアグレメントマスク – である。 RaREはHealthBench と GPQA Diamond の2つの単一ジャッジ RaR 変種を全て上回り、各テーマで分析した結果、審査員の相補的な強みを継承していることがわかった。 以上の結果から,RaRを改良するための重要な軸として判断アンサンブルが確立された。

関連論文リスト

• Rubrics from the Task, Verdicts from Evidence: Pointwise Rubric Rewards with Tool-Augmented Judges [5.6314567092029355]
  本稿では,厳格な規則と格付けされた原則を導出し,命令のみを推論するポイントワイドルーブリックであるReVeRを提案する。 実験により、ReVeRは平均的な選好精度でペアワイズルーリックよりも優れていることが示された。
  論文  参考訳（メタデータ） (2026-10-13T17:27:23Z)
• Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
  より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
  論文  参考訳（メタデータ） (2026-08-30T20:00:17Z)
• Rethinking Rubric Generation for Improving LLM Judge and Reward Modeling for Open-ended Tasks [17.117706938140078]
  本稿では,分解フィルタサイクル上に構築された潤滑精製の原理的フレームワークRDを提案する。 RRDは粗いルブリックをきめ細かな識別基準に分解し、カバー範囲を広げ、応答間の分離を鋭くする。 評価とトレーニングの両方で、大きく、一貫した利益をもたらします。
  論文  参考訳（メタデータ） (2026-02-04T23:16:09Z)
• Rubrics as Rewards: Reinforcement Learning Beyond Verifiable Domains [9.917318870162365]
  Reinforcement Learning with Verifiable Rewards (RLVR) は、数学やコーディングのような明確な正当性信号を持つ複雑な推論タスクに有効であることが証明されている。 ラグビーは近年、そのような判断を捉えるために評価ベンチマークで使用されているが、オンラインのポストトレーニングの報奨信号としての可能性はまだ未定である。 本稿では,RLVRを検証可能な領域を超えて,ルーブリックフィードバックを用いて拡張するオンライン強化学習手法であるRaRを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T17:57:55Z)
• CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards [72.44810390478229]
  CompassJudger-2は、タスク駆動のマルチドメインデータキュレーション戦略によって制限を克服する新しいジェネラリストジャッジモデルである。 CompassJudger-2は、複数の判定と報奨ベンチマークで優れた結果を得る。
  論文  参考訳（メタデータ） (2025-07-12T01:34:24Z)
• J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization [69.23273504123941]
  私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。 我々はReasoningJudgeBenchというベンチマークを紹介します。 EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
  論文  参考訳（メタデータ） (2025-05-19T16:50:35Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。