論文の概要: JudgmentBench: Comparing Rubric and Preference Evaluation for Quality Assessment

• arxiv url: http://arxiv.org/abs/2605.25240v2
• Date: Tue, 02 Jun 2026 02:06:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 18:57:50.051201
• Title: JudgmentBench: Comparing Rubric and Preference Evaluation for Quality Assessment
• Title（参考訳）: JudgmentBench: 品質評価のためのゴムと選好評価の比較
• Authors: Russell Yang, Ruishi Chen, Pierce Kelaita, Riya Ranjan, Sibo Ma, Charles Dickens, Matthew Guillod, Megan Ma, Julian Nyarko,
• Abstract要約: JudgmentBenchは、実世界の30の法的タスクのベンチマークで、1,539のルーリックスコアと1,530のペアの選好判断を組み合わせたものです。 アノテーションは、両方の監視信号が同じ専門家から引き出される、高度なドメインで利用可能な最初のデータセットである。
• 参考スコア（独自算出の注目度）: 2.961401607740788
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Two methodologies dominate current practices of benchmarking: rubric-based scoring evaluates items against predefined criteria, whereas comparative judgment elicits pairwise preferences between outputs. Although both methodologies are widely used, the choice between them is rarely justified. We release JudgmentBench, a benchmark of 30 real-world legal tasks, paired with 1,539 rubric scores and 1,530 pairwise preference judgments collected from practicing attorneys--including at major U.S. law firms--with substantial experience. The annotations constitute the first publicly available dataset in a high-expertise domain in which both supervision signals are elicited from the same experts on the same items. Using LLM-generated outputs at three constructed quality levels, we provide an initial empirical comparison: comparative judgments recover the intended quality ordering substantially better than rubrics (mean Spearman's rank correlation of 0.908 vs. 0.150, estimated difference = 0.758 [0.494, 1.021]) while requiring less than half the annotation time. The patterns hold for human annotators and LLM autograders. Beyond this initial comparison, the paired structure of the dataset supports a broader research agenda on how expert judgment should be elicited, aggregated, and used as supervision in domains without verifiable ground truth.
• Abstract（参考訳）: ルーブリックに基づく評価は、事前定義された基準に対してアイテムを評価するのに対し、比較判断は出力間のペアワイズな選好を引き出す。 どちらの手法も広く使われているが、両者の選択が正当化されることは滅多にない。 われわれは、30の現実世界の法的タスクのベンチマークであるJudgmentBenchをリリースした。 アノテーションは、両方の監視信号が同じアイテムについて同じ専門家から引き出される、高度なドメインで利用可能な最初のデータセットである。 3つの構成された品質レベルでLCM生成した出力を用いて、最初の経験的比較を行う: 比較判断は、意図された品質の順序が、ルブリックよりもかなり良く回復する(スピアマンのランク相関は0.908対0.150、推定差 = 0.758 [0.494, 1.021])が、アノテーション時間の半分以下である。 このパターンは、ヒトのアノテーターやLDMオートグラファーに当てはまる。 この最初の比較の他に、データセットのペア構造は、専門家の判断がどのように引き起こされ、集約され、根拠の真理を検証せずにドメインの監督として使用されるかという、より広範な研究課題を支持している。

関連論文リスト

• CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
  本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
  論文  参考訳（メタデータ） (2026-05-19T10:59:19Z)
• Aggregate vs. Personalized Judges in Business Idea Evaluation: Evidence from Expert Disagreement [4.814048071575166]
  分析では、微粒な順序のスコアについてかなりの専門家の意見の相違が示され、一方、合意は粗い選択の下で高い。 次に、ゼロショット判定器、混合評価器の履歴に規定された集計判定器、対象評価器のスコアリング履歴に規定されたパーソナライズされた判定器の3つの構成を比較した。 パーソナライズド・ジャッジは、次元やモデルサイズ全体にわたって、アグリゲーション・ジャッジよりも対応する評価者とより緊密に一致し、評価者合意はパーソナライズド・コンディショニング(パーソナライズド・コンディショニング)の下でのみ、判断生成推論の類似性と相関する。
  論文  参考訳（メタデータ） (2026-04-24T12:56:54Z)
• Re-Rankers as Relevance Judges [65.37611299805856]
  再ランカ・アズ・レバレンス・ジャッジ設定で再ランカを再現する。 TREC-DL 2019〜2023では,220Mから32Bの3家族から8人の再ランカを対象に実験を行い,再ランカに基づく審査員による評価バイアスを分析した。
  論文  参考訳（メタデータ） (2026-01-08T00:02:59Z)
• Retrieving Semantically Similar Decisions under Noisy Institutional Labels: Robust Comparison of Embedding Methods [0.0]
  OpenAI(General-purpose Embedder)は,3万の意思決定に対して,ドメイン固有のBERTトレーニングをゼロから実行する。 我々のフレームワークは、ノイズの多い金のデータセットで評価するのに十分な頑健である。
  論文  参考訳（メタデータ） (2025-12-05T12:54:26Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• The Comparative Trap: Pairwise Comparisons Amplifies Biased Preferences of LLM Evaluators [31.520403357740317]
  大規模言語モデル (LLM) は、自然言語生成タスクの評価器としてますます使われている。 LLMは、冗長性や権威的なトーンを好むなど、バイアスのある好みを示す。 ペアワイズフレームワークにポイントワイズ推論を統合するPRePairを導入する。
  論文  参考訳（メタデータ） (2024-06-18T06:43:04Z)
• LLM Comparative Assessment: Zero-shot NLG Evaluation through Pairwise Comparisons using Large Language Models [55.60306377044225]
  大規模言語モデル(LLM)は、様々な自然言語タスクで印象的なゼロショット機能を実現している。 本稿では,ゼロショットNLG評価におけるLCMの創発的能力を活用するための2つの選択肢について検討する。 FlanT5 や Llama2-chat のような中規模のオープンソース LLM では、スコアリングよりも比較評価が優れている。
  論文  参考訳（メタデータ） (2023-07-15T22:02:12Z)
• Rater Equivalence: Evaluating Classifiers in Human Judgment Settings [11.529701822081394]
  本稿では,人的判断のみに基づく自動分類器の評価フレームワークを提案する。 本フレームワークは,ベンチマークパネルの構築と性能評価に人為的なラベルを使用する。 ケーススタディと形式解析を用いて、このフレームワークがAIシステムの評価と展開にどのように役立つかを実証する。
  論文  参考訳（メタデータ） (2021-06-02T16:07:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。