論文の概要: How Much Do LLM-as-a-Judge Design Choices Matter? A Systematic Comparison of Prompt Designs, Rating Scales, and Models

• arxiv url: http://arxiv.org/abs/2610.05094v1
• Date: Sun, 04 Oct 2026 09:56:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.354007
• Title: How Much Do LLM-as-a-Judge Design Choices Matter? A Systematic Comparison of Prompt Designs, Rating Scales, and Models
• Title（参考訳）: LLM-as-a-Judgeデザインはどの程度重要か? : プロンプトデザイン, 評価尺度, モデルの体系的比較
• Abstract要約: 2つのタスクに対して,複数の設計にまたがる10の推論モデルを評価する。 評価タスクでは、人間的根拠の真実と大きな相違を示す審査員はいるものの、実際の差の大きさは、ほとんどの審査員が信頼できると考えるのに十分小さい。 推論の努力の低さは正確さにも怠慢にも影響を与えない。
• 参考スコア（独自算出の注目度）: 0.42970700836450487
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Researchers increasingly use Large Language Models as judges (LLM-as-a-judge) to evaluate model outputs. Yet there are no standards for how to design these judges. Typically, researchers choose the prompt, rating scale, and model intuitively. If these choices change the judge's verdicts, two studies can reach different conclusions about the same facts. To address this risk and to provide an empirical basis for judge designs, we evaluate 10 reasoning models across multiple designs on two tasks: a scalar rating of sentence sentiment and toxicity (over 500 items per category), as well as a binary accuracy classification of question-answer pairs (n=600). For the rating tasks, despite judges showing significant disagreements with the human ground truth, the practical size of differences is small enough to consider most judges reliable (mean absolute deviation of 0.11 points on a 1 - 7 scale); toxicity judges even outperform standard classifiers. Judges are also highly accurate on average (96.5%) for the accuracy classification task. However, design choices can produce shifts: changing the rating scale alone can shift measured bias by up to 0.93 points (rating task), and while accuracy levels are rarely impacted, design choices consistently impact judge leniency (classification task; leniency drop of 28.9 percentage points when using detailed prompts, and up to 56.1 percentage points when switching models). Counterintuitively, lower reasoning effort affects neither accuracy nor leniency. Across both tasks, model identity is the dominant source of variance. These findings suggest that while LLM judges are broadly trustworthy in aggregate, design choices can be meaningful sources of variance. Given the growing reliance on automated evaluation in LLM research, we intend this study as a methodological reference for designing more robust and replicable LLM-as-a-judge pipelines.
• Abstract（参考訳）: 研究者たちは、モデルアウトプットを評価するために、Large Language Modelsを審査員(LLM-as-a-judge)としてますます利用しています。 しかし、これらの審査員をどう設計するかの基準は存在しない。 研究者は通常、プロンプト、評価尺度、モデルを直感的に選択する。 これらの選択が裁判官の評決を変えるならば、2つの研究は同じ事実について異なる結論に達することができる。 このリスクに対処し, 審査設計の実証的基盤を提供するために, 文感情のスカラー評価と有毒度(カテゴリー毎500項目以上)と質問応答対の二分精度分類(n=600)の2つの課題について, 複数設計における10の推論モデルの評価を行った。 評価タスクでは、人的根拠の真実と大きな相違を示す裁判官はいるものの、実際の違いの大きさは、ほとんどの裁判官が信頼できると考えるのに十分な程度に小さい(これは1～7スケールで0.11ポイントの絶対偏差である)。 審査員は、正確な分類タスクに対して平均96.5%で非常に正確である。 しかし、設計の選択は、評価尺度だけを変えると、測定バイアスを最大0.93ポイント(試行作業)にシフトさせることができ、精度レベルがほとんど影響しないが、設計選択は一貫して裁判官の怠慢に影響を与える(分類タスク、詳細なプロンプトを使用すると28.9ポイント、モデルを変更すると56.1ポイントまで減少する)。 反故意に、低い推論の努力は正確さにも怠慢にも影響を与えない。 どちらのタスクも、モデルの同一性は分散の主要な原因である。 これらの結果から, LLM審査員は総合的に信頼性が高いが, 設計選択は有意義な分散源となる可能性が示唆された。 本研究は,LLM研究における自動評価への依存度の向上を踏まえ,より堅牢で再現性の高いLLM-as-a-judgeパイプラインの設計手法として,本研究を意図している。

関連論文リスト

• Balanced Accuracy: The Right Metric for Evaluating LLM Judges - Explained through Youden's J statistic [4.271443100949229]
  大規模言語モデルの厳密な評価は、望ましい行動や望ましくない行動の頻度によるモデルの比較に依存する。 この選択に使用される一般的なメトリクス、例えば、精度、精度、F1は、クラス不均衡や正のクラスの任意の選択に敏感である。 平衡精度は$J$の等価線型変換であり、より良く、より堅牢な分類器選択をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-12-08T23:58:32Z)
• Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
  我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。 意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。 本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
  論文  参考訳（メタデータ） (2024-10-18T17:32:22Z)
• Judging the Judges: Evaluating Alignment and Vulnerabilities in LLMs-as-Judges [6.609843448260634]
  LLM-as-a-judgeパラダイムは,大規模言語モデルを評価するアプローチとして急速に普及している。 本稿では,人間間の合意が高いクリーンなシナリオに焦点を当てる。 我々は、複雑性や長さを早めるための感度や、寛大さへの傾向など、審査モデルの脆弱性を識別する。
  論文  参考訳（メタデータ） (2024-06-18T13:49:54Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。