論文の概要: Small Language Models as Judges for Rubric-Based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.30005v1
• Date: Sun, 30 Aug 2026 20:00:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.156551
• Title: Small Language Models as Judges for Rubric-Based Reinforcement Learning
• Title（参考訳）: ルーブリック型強化学習における判断者としての小言語モデル
• Abstract要約: より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
• 参考スコア（独自算出の注目度）: 57.707881387886516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rubric-based reinforcement learning extends RL beyond tasks with exact answers or rule-based verifiers by scoring responses against instance-specific criteria. However, this makes reward computation expensive: training requires repeated rubric judging, often with proprietary APIs or local generative LLM judges with 7B parameters or more. We study whether smaller language models can serve as efficient and reliable rubric-based judges. To make this question measurable, we construct PointRubric and RaR-Science-Static, two pointwise rubric-based evaluation datasets with instance-specific criteria and itemwise satisfaction labels. We compare three ways of extracting criterion-level judgments from small models: Generative verdicts, Yes/No Logprob margins, and Probe judges. Across both datasets, the Qwen3-1.7B Probe judge achieves the strongest criterion-level agreement among these methods, outperforming Generative and Logprob judges. Used as a GRPO reward model, it trains a policy from 0.232 to 0.643 on RaR-Science rubric score, compared with 0.594 for an 8B Generative judge baseline, while the baseline requires 10.7$\times$ more reward-judge time. Task and domain transfer experiments further suggest that Probe judges preserve criterion-level reward structure across settings.
• Abstract（参考訳）: ルーブリックベースの強化学習は、インスタンス固有の基準に対して応答を評価することで、正確な回答やルールベースの検証を伴うタスクを超えてRLを拡張する。 トレーニングでは、しばしばプロプライエタリなAPIや、7Bパラメータ以上のローカルなジェネレーティブLLMジャッジで、繰り返しルーリック判定を必要とする。 より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 この問題を計測するために、インスタンス固有の基準と項目ごとの満足度ラベルを持つ2つのポイントワイドルーリック評価データセットであるPointRubricとRaR-Science-Staticを構築した。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probe 判事はこれらの方法の中で最も強い基準レベルの合意を達成し、ジェネレーティブおよびログプロブの裁判官を上回っている。 GRPO報酬モデルとして使用されており、RaR-Scienceルーリックスコアの0.232から0.643までのポリシーを8B生成審査基準の0.594と比べて訓練し、ベースラインは10.7$\times$ more reward-judge timeである。 タスクおよびドメイン転送の実験はさらに、Probe判事が設定全体にわたって基準レベルの報酬構造を保存することを示唆している。

関連論文リスト

• Reliable to Expressive: A Curriculum for Rubric-Following Safety Judges [2.8523456804049885]
  安全審査員は、進化する基準に対してモデルアウトプットを評価するためにますます配置される。 最近のメタ評価研究は、プロンプトとルーブリックの変動下では脆く保たれていることを示している。 本稿では,インスタンス条件の動的ルーブリックと,信頼性と表現性を備えたカリキュラムを組み合わせたトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2026-06-08T08:02:57Z)
• RUBRIC-ARROW: Alternating Pointwise Rubric Reward Modeling for LLM Post-training in Non-verifiable Domains [19.25508787530297]
  RUBRIC-ARROWは、ルビリックジェネレータとルビリックコンディショナーを共同で訓練する交互フレームワークである。 提案手法では,確率に基づくスコアリングルールと,位相特異的な選好に基づく報酬との相関を低減し,ポイントワイド評価器を併用する交互GRPO方式を併用する。
  論文  参考訳（メタデータ） (2026-05-27T22:46:25Z)
• CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
  本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
  論文  参考訳（メタデータ） (2026-05-19T10:59:19Z)
• Autorubric: A Unified Framework for Rubric-Based LLM Evaluation [34.429649156970015]
  大規模言語モデル(LLM)を評価するための統一フレームワークを提案する。 この論文で提案されているオープンソースのPythonフレームワークであるAutorubricで、それぞれのテクニックが実現されている。 Autorubricは、重み付き二分、順序、および名目基準をサポートしており、多数派、重み付き、一対一、無投票のアグリゲーションによるシングルジャッジとマルチジャッジのアンサンブルの評価である。
  論文  参考訳（メタデータ） (2026-02-13T02:26:30Z)
• CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards [72.44810390478229]
  CompassJudger-2は、タスク駆動のマルチドメインデータキュレーション戦略によって制限を克服する新しいジェネラリストジャッジモデルである。 CompassJudger-2は、複数の判定と報奨ベンチマークで優れた結果を得る。
  論文  参考訳（メタデータ） (2025-07-12T01:34:24Z)
• J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization [69.23273504123941]
  私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。 我々はReasoningJudgeBenchというベンチマークを紹介します。 EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
  論文  参考訳（メタデータ） (2025-05-19T16:50:35Z)
• Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators [66.83088028268318]
  本稿では,テスト時間スケーリングベンチマークの判定評価について紹介する。 3つのタスク設定の下で、3つのドメイン(推論、コード生成、命令従)での判定性能を評価する。 我々のベンチマークは、審査員が再評価において結果報酬モデルと競合する一方で、ビームサーチにおけるプロセス報酬モデルよりも一貫して悪いことを示している。
  論文  参考訳（メタデータ） (2025-04-21T17:33:23Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。