論文の概要: LLM Judges Can Be Too Generous When There Is No Reference Answer

• arxiv url: http://arxiv.org/abs/2607.12885v1
• Date: Tue, 14 Jul 2026 15:31:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:30.194125
• Title: LLM Judges Can Be Too Generous When There Is No Reference Answer
• Title（参考訳）: LLMの審査員は、基準の回答がなければ、あまりにも寛大すぎる
• Abstract要約: 判断モデルでは, 基準解が存在しない場合には, 誤答を過度に繰り返す傾向がある。 また、このプロンプトに参照回答情報を追加することで、審査モデルの正しい/間違った判断を最大85%下げることを示す。 本研究は, LLM審査員を基準意識で評価し, 基準無条件で確実に使用する前に, 基準無条件で評価する必要性を強調した。
• 参考スコア（独自算出の注目度）: 4.33144664431421
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: LLM judges are increasingly being used to evaluate open-ended model responses, often in no-reference settings where a ground-truth answer is unavailable. However, can they reliably assess in such evaluation setups? We explore this question in this paper through a two stage pipeline with a) calibration experiments that assess the judge model's knowledge of the task it is evaluating, and b) sensitivity experiments that assess how the judge model's performance is impacted by the presence and positioning of the reference answer in the prompt. Across experiments covering three languages, we show that the judge models we evaluated tend to over-credit incorrect answers in the absence of a reference answer, and adding reference answer information to the prompt flips the judge model's correct/incorrect decisions by as much as 85% in some experimental settings. Comparison with a subset of human annotations shows that these reference-driven changes generally align with human judgments. Our results emphasize the need for calibrating the LLM judges with a sample with reference-aware evaluation before using them in reference-free setups reliably, and our methodology provides a blueprint for researchers and practitioners in doing such calibration of LLM judges for other tasks.
• Abstract（参考訳）: LLMの審査員はオープンなモデル応答の評価にますます使われており、多くの場合、接地的真実の答えが利用できない非参照設定で行われている。 しかし、そのような評価設定で確実に評価できるだろうか? 本稿では、この疑問を2段階のパイプラインを通して探求する。 イ 審査員モデルの評価課題に関する知識を評価する校正実験及び ロ 審査員モデルの性能が、指示書における基準回答の存在及び位置によってどのように影響を受けるかを評価する感度実験。 3つの言語を網羅した実験において、評価した判定モデルでは、基準回答がない場合には誤答を過度に繰り返す傾向があり、参照回答情報をプロンプトに追加すると、いくつかの実験環境では、判定モデルの正しい/誤判定を最大85%反転する傾向を示した。 人間のアノテーションのサブセットと比較すると、これらの参照駆動的な変更は一般的に人間の判断と一致している。 提案手法は,LLM審査員を基準フリー設定で確実に使用する前に,基準対応評価のサンプルで校正する必要があることを強調し,他の作業に対して,研究者や実践者がLCM審査員の校正を行う上での青写真を提供する。

関連論文リスト

• DA-RAC: Distance-Aware Calibration of LLM Judges for Trustworthy AI Auditing [6.639255145889912]
  DA-RAC(DA-RAC)は、LLM審査員のための距離対応基準アンコール式校正法である。 キャリブレーションを改善し、ゼロショット、チェーンオブ思想評価、静的アンカーベースラインに対する偽パスリスクを低減する。
  論文  参考訳（メタデータ） (2026-08-15T00:29:25Z)
• CyclicJudge: Mitigating Judge Bias Efficiently in LLM-based Evaluation [6.3121191919394475]
  この研究は、ベンチマークスコアの分散をシナリオ、生成、判断、残留コンポーネントに分割する分散分解を導入する。 この分析に基づいて, 審査員のシナリオへのラウンドロビンの割り当てであるCyclicJudgeが, 一定の審査-呼出予算の最適戦略であることを実証した。
  論文  参考訳（メタデータ） (2026-03-02T13:46:32Z)
• Are LLM Evaluators Really Narcissists? Sanity Checking Self-Preference Evaluations [3.262230127283452]
  審査員が不正に完了したクエリに応答すると,評価者が自己優先の判断を下す可能性があることを示す。 評価基準(Evaluator Quality Baseline)を導入し,審査員が不正に投票した確率と,別のモデルから不正な反応を投票した確率とを比較した。
  論文  参考訳（メタデータ） (2026-01-30T04:38:18Z)
• CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards [72.44810390478229]
  CompassJudger-2は、タスク駆動のマルチドメインデータキュレーション戦略によって制限を克服する新しいジェネラリストジャッジモデルである。 CompassJudger-2は、複数の判定と報奨ベンチマークで優れた結果を得る。
  論文  参考訳（メタデータ） (2025-07-12T01:34:24Z)
• Quantitative LLM Judges [60.773734899532336]
  本研究では,既存のLLM審査員の評価スコアを,与えられた領域内の人間と一致させる定量的LLM審査員を提案する。 モデルは、その合理性とスコアを使用して、元の審査員のスコアを改善するために訓練される。 実験の結果, 定量的な判断は, ポストホックモデリングにより, 既存の判断の予測力を向上できることがわかった。
  論文  参考訳（メタデータ） (2025-06-03T14:44:23Z)
• Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators [66.83088028268318]
  本稿では,テスト時間スケーリングベンチマークの判定評価について紹介する。 3つのタスク設定の下で、3つのドメイン(推論、コード生成、命令従)での判定性能を評価する。 我々のベンチマークは、審査員が再評価において結果報酬モデルと競合する一方で、ビームサーチにおけるプロセス報酬モデルよりも一貫して悪いことを示している。
  論文  参考訳（メタデータ） (2025-04-21T17:33:23Z)
• Judge as A Judge: Improving the Evaluation of Retrieval-Augmented Generation through the Judge-Consistency of Large Language Models [68.92020689188887]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) に対する幻覚を緩和する効果を証明している。 既存の自動評価メトリクスは、トレーニングと評価の間にRAGモデルによって生成されたアウトプットを正確に評価することはできない。 本稿では,RAGモデルのより正確な評価を実現するため,LCMの強化を目的とした判断一貫性(ConsJudge)手法を提案する。
  論文  参考訳（メタデータ） (2025-02-26T04:50:43Z)
• HREF: Human Response-Guided Evaluation of Instruction Following in Language Models [61.273153125847166]
  我々は新しい評価ベンチマークHREF(Human Response-Guided Evaluation of Instruction following)を開発した。 HREFは信頼性の高い評価を提供するだけでなく、個々のタスクのパフォーマンスを強調し、汚染を受けない。 本稿では,評価セットのサイズ,判断モデル,ベースラインモデル,プロンプトテンプレートなど,HREFにおける鍵設計選択の影響について検討する。
  論文  参考訳（メタデータ） (2024-12-20T03:26:47Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。