論文の概要: Can We Trust This Evaluation? Instance-Level Reliability of LLM-as-a-Judge

• arxiv url: http://arxiv.org/abs/2610.14029v1
• Date: Wed, 30 Sep 2026 23:10:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:02:54.470489
• Title: Can We Trust This Evaluation? Instance-Level Reliability of LLM-as-a-Judge
• Title（参考訳）: 私たちはこの評価を信頼できますか? LLM-as-a-Judgeのインスタンスレベル信頼性
• Abstract要約: 本稿では,審査員の行動に基づいて,評価信頼性を推定するためのラベルのない手法を提案する。 潜時測定モデルは、測定システム分析のバックボーンとして機能する。 提案手法は,高契約リスク項目の検出に有効であることを示す。
• 参考スコア（独自算出の注目度）: 7.515263297601519
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-as-a-judge evaluation commonly aggregates multiple judges' decisions into a majority vote, yet this panel decision process does not guarantee that the evaluation of an individual item is reliable. We propose Structured Cross-fitted Uncertainty Risk (SCUR), a label-free approach for estimating instance-level evaluation reliability based on the judge panel's behavior. A latent measurement model serves as the backbone for measurement system analysis, from which SCUR derives three complementary signals capturing panel uncertainty, measurement cross-entropy, and perturbation sensitivity. These three sources of evidence are combined into a risk score. We evaluate the SCUR approach on five real-world benchmarks using majority-vote error ranking, selective trust, and risk stratification. Furthermore, we show our approach to be more effective at detecting high-consensus risk items, which are the blind spots for many other LLM-as-a-judge evaluation methods.
• Abstract（参考訳）: LLM-as-a-judge評価は、一般的に複数の審査員の判断を多数決に集約するが、このパネル決定プロセスは、個々の項目の評価が信頼できることを保証しない。 本研究では, 判定パネルの挙動に基づいて, 評価信頼性を推定するためのラベルのない手法であるStructured Cross-fitted Uncertainity Risk (SCUR)を提案する。 潜時測定モデルは測定システム解析のバックボーンとして機能し、SCURはパネルの不確実性、測定のクロスエントロピー、摂動感度を計測する3つの相補的な信号を導出する。 これら3つの証拠は、リスクスコアにまとめられている。 多数投票誤りランキング,選択的信頼度,リスク階層化を用いた5つの実世界のベンチマークにおけるSCUR手法の評価を行った。 さらに,多くのLCM-as-a-judge評価手法の盲点である高コンセンサスリスク項目の検出に有効であることを示す。

関連論文リスト

• A Calibrated Reflection Approach for Enhancing Confidence Estimation in LLMs [3.9353006440879525]
  Calibrated Reflectionは、構造化推論と距離対応キャリブレーション技術を組み合わせたフレームワークである。 我々は,HelpSteer2,Llama T-REx,プロプライエタリな会話データセットなど,さまざまなデータセットに関するフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2026-09-03T22:52:01Z)
• Robust Checkpoint Selection for Multimodal LLMs via Agentic Evaluation and Stability-Aware Ranking [0.4562811934651716]
  評価の不確実性の下では、チェックポイントの選択を堅牢な決定問題として定式化する。 実世界のキュレートされたデータ、構造化LCMに基づく判断、および多段階ランキングプロトコルを統合する多段階フレームワークを提案する。 我々は、データ品質、特にOCR可読性は、評価の妥当性の重要な決定要因であることを示した。
  論文  参考訳（メタデータ） (2026-05-13T12:18:32Z)
• Calibration Is Not Enough: Evaluating Confidence Estimation Under Language Variations [49.84786015324238]
  信頼度推定(CE)は、大きな言語モデル(LLM)の回答がどれほど信頼性が高いかを示し、ユーザの信頼と意思決定に影響を与える可能性がある。 本稿では,CEの信頼性を3つの新しい側面で評価する総合評価フレームワークを提案する。 これには、急激な摂動に対する自信の堅牢性、意味論的に等価な答えに対する安定性、意味論的に異なる答えに対する感受性が含まれる。
  論文  参考訳（メタデータ） (2026-01-12T23:16:50Z)
• Who Judges the Judge? LLM Jury-on-Demand: Building Trustworthy LLM Evaluation Systems [2.9141470183751674]
  スケーラブルでコンテキスト対応な評価のための動的学習ベースのフレームワークを提案する。 本手法は,LLM審査員が人間専門家といつ一致するかを評価するために,信頼度予測器のセットを訓練する。 要約およびRAGベンチマーク実験により,我々の動的陪審法は,単一判定基準と静的判定基準の両方よりも,人間の判断との相関が著しく高いことを示した。
  論文  参考訳（メタデータ） (2025-12-01T15:26:20Z)
• Auto-Prompt Ensemble for LLM Judge [24.30935583220292]
  既存のLLM審査員は、人間の評価の基礎となる暗黙の基準を認識できないため、重要な評価基準を見逃すことがしばしばある。 本稿では,自動プロンプト・アンサンブル(APE)を提案する。 APEは信頼に基づくアンサンブル機構を導入し、新たな評価次元から判断をいつ採用するかを決定する。
  論文  参考訳（メタデータ） (2025-10-08T00:28:51Z)
• RADAR: A Risk-Aware Dynamic Multi-Agent Framework for LLM Safety Evaluation via Role-Specialized Collaboration [81.38705556267917]
  大規模言語モデル(LLM)の既存の安全性評価手法は、固有の制約に悩まされている。 リスク概念空間を再構築する理論的枠組みを導入する。 マルチエージェント協調評価フレームワークRADARを提案する。
  論文  参考訳（メタデータ） (2025-09-28T09:35:32Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• DAFE: LLM-Based Evaluation Through Dynamic Arbitration for Free-Form Question-Answering [12.879551933541345]
  大規模言語モデル評価のための動的アロケーションフレームワーク(DAFE)を提案する。 DAFEは2つの主要なLCM-as-judgesを採用し、不一致の場合のみ第3の仲裁を行う。 DAFEが一貫した、スケーラブルで、リソース効率の高いアセスメントを提供する能力を示す。
  論文  参考訳（メタデータ） (2025-03-11T15:29:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。