論文の概要: All Verdicts are Not Equal: Rethinking LLM Judge Reliability

• arxiv url: http://arxiv.org/abs/2610.12083v1
• Date: Thu, 08 Oct 2026 14:55:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.085677
• Title: All Verdicts are Not Equal: Rethinking LLM Judge Reliability
• Title（参考訳）: LLM判事の信頼性を再考する: すべての評決は平等ではない
• Abstract要約: LLM-as-a-JudgeはNLP評価の標準パラダイムである。 4つのベンチマーク、プロンプトフォーマット5つ、プレゼンテーションオーダ2つ、サンプリング温度3つ、条件毎に10回、それぞれ6つのフロンティアモデルをストレステストして総合的な信頼性監査を行う。 私たちの経験的分析では、温度ゼロで同一の複製にまたがる変化を判定し、位置順序のスワップは、困難なタスクに関する多くの判断を覆し、最も決定論的な判断は、誤判定を自明に繰り返すことによって、完全な一貫性を達成するという深刻な脆弱性を明らかにしています。
• 参考スコア（独自算出の注目度）: 0.9567293376530035
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: LLM-as-a-Judge is the standard paradigm for NLP evaluation, yet its systemic reliability remains poorly understood despite being widely treated as a deterministic ground truth. We present a comprehensive reliability audit, stresstesting six frontier models across four benchmarks, five prompt formats, two presentation orders, three sampling temperatures, and ten repetitions per condition. Our empirical analysis reveals severe vulnerabilities: verdicts change across identical replications at temperature zero, position-order swaps flip the majority of verdicts on challenging tasks, and the most deterministic judge achieves perfect consistency by trivially repeating incorrect verdicts, agreeing with ground truth only 51% of the time. To formalize these multi-faceted failure modes, we introduce the trustworthy verdict rate (T ), a unified metric capturing the joint probability that an evaluation is reproducible, order-invariant, and accurate. UsingT , we derive a theoretical upper bound on accuracy imposed by position bias and show that reliability is item-specific rather than modellevel. Finally, we demonstrate that shifting from pairwise win-rate to holistic rubric scoring improves trustworthiness more than any single-format prompting intervention, offering an actionable framework for robust NLP evaluation.
• Abstract（参考訳）: LLM-as-a-Judgeは、NLP評価の標準パラダイムであるが、その体系的信頼性は、決定論的基礎真理として広く扱われているにもかかわらず、よく理解されていない。 4つのベンチマーク、プロンプトフォーマット5つ、プレゼンテーションオーダ2つ、サンプリング温度3つ、条件毎に10回、それぞれ6つのフロンティアモデルをストレステストして総合的な信頼性監査を行う。 我々の経験的分析では、温度ゼロで同一の複製にまたがる変化を判定し、位置順序のスワップは、困難なタスクに関する多くの判断を覆し、最も決定論的判断は、誤った判断を自明に繰り返すことによって完全な一貫性を達成する。 これらの多面的障害モードを形式化するために,信頼に値する評価率(T)を導入し,評価が再現可能で,順序不変で,正確であることを示す。 Tを用いて位置バイアスによる精度の理論的上限を導出し、信頼性がモデルレベルよりもアイテム固有であることを示す。 最後に、ペアワイズ勝利率から総合的ルーリックスコアへのシフトは、介入を促す単一形式よりも信頼性を高め、堅牢なNLP評価のための実行可能なフレームワークを提供することを示す。

関連論文リスト

• Truth for Believable AI: Expressed Doubt, Provenance, and Belief Revision as an Engineerable Stance [0.0]
  定型言語モデル上での動作層として,不確実性,先入観を意識したアサーション,明示的信念のリビジョンを実装できるかどうかを検証した。 合成モデルとQwen2.5-0.5B-インストラクタを用いて,機械的に評価したマルチセッションベンチマークを用いて評価を行った。
  論文  参考訳（メタデータ） (2026-09-22T11:34:53Z)
• Can We Trust LLM Judges: A Study of Capability-Dependent Biases and Multi-Judge Ensemble for Bias Calibration [0.5294698352039444]
  より現実的なユースケースを反映した絶対スコアリングタスクについて検討する。 モデルのタスク精度は、その判断精度を強く予測することを示す。 より有能な試験モデルは、すべての裁判官からより寛大な判断を受ける。
  論文  参考訳（メタデータ） (2026-09-10T00:25:39Z)
• Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models [7.714704554667688]
  大規模言語モデル(LLM)は、ハイテイクドメインにおける意思決定をますますサポートします。 LLMはしばしば、事実の正しさと不一致した自信を幻覚し表現する。 判定関連不確実性信号としてのクレームレベル信頼度校正について検討する。
  論文  参考訳（メタデータ） (2026-08-23T16:09:54Z)
• Evaluating LLM Uncertainty in Long-Form Generation Using Deterministic Ground Truth [11.568922058618497]
  ロングフォーム・ジェネレーション・ベンチマークは決定論的根拠の真理ではなく、誤認可能なラベルに依存する傾向にある。 本研究では,1つの決定論的長文基底真理を持つ6つの手続き的タスクのベンチマークであるSingle-Awer Atomic Long-form Target (SALT)を紹介する。 SALTは世代を通して制御された原子レベルの介入を可能にし、将来のエラーの2つの分離可能なドライバを明らかにする。
  論文  参考訳（メタデータ） (2026-07-04T13:25:18Z)
• Measuring Reasoning Quality in LLMs: A Multi-Dimensional Behavioral Framework [9.601233098598456]
  本研究では,LLMにおける推論品質を測定するための多次元統合フレームワークを提案する。 4つのベンチマークから975項目にまたがる7つのLCM実験により、このフレームワークは精度のみのメトリクスから見えない振る舞いを明らかにしている。
  論文  参考訳（メタデータ） (2026-05-23T17:03:42Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Crowd Comparative Reasoning: Unlocking Comprehensive Evaluations for LLM-as-a-Judge [90.8674158031845]
  提案するクラウド・ベース・コンピレーション・アセスメントは,提案するクラウド・レスポンスを,候補の応答と比較するための追加のクラウド・レスポンスを導入する。 このプロセスはLLM-as-a-Judgeを効果的に誘導し、より詳細なCoT判定を提供する。 提案手法は, 高い品質のCoTを製造し, 蒸留を判断し, 拒絶サンプリングにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2025-02-18T03:31:06Z)
• Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
  本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。 また,信頼度の高い自己補正(textbfConFix$)も開発した。
  論文  参考訳（メタデータ） (2024-11-20T14:15:18Z)
• Think Twice Before Trusting: Self-Detection for Large Language Models through Comprehensive Answer Reflection [90.71323430635593]
  本稿では, LLM生成解を超える包括的解答空間を考察した, 新たな自己検出パラダイムを提案する。 このパラダイムに基づいて、2段階のフレームワークを導入し、まずまずLLMに各候補の回答を反映し、正当化するように指示する。 このフレームワークは、優れた自己検出のための既存のアプローチとシームレスに統合できる。
  論文  参考訳（メタデータ） (2024-03-15T02:38:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。