論文の概要: A Tale of Two Error Categories: Exploring Concealed Trade-Offs in the Errors of Automated Judges in Evaluation of Uncertainty Quantifiers

• arxiv url: http://arxiv.org/abs/2610.09693v1
• Date: Wed, 07 Oct 2026 08:52:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.813295
• Title: A Tale of Two Error Categories: Exploring Concealed Trade-Offs in the Errors of Automated Judges in Evaluation of Uncertainty Quantifiers
• Title（参考訳）: 2つの誤りカテゴリーの物語:不確実性量化器の評価における自動審査員の誤りの認識
• Abstract要約: NLGアプリケーションでは、信頼性の高い正当性判定を得ることは、特に人間の介入なしには簡単ではない。 自動判断の誤りはほとんど避けられず、評価プロトコルの信頼性を低下させることが知られている。 疑問に答える実験では、4つのLLM、人間と自動化された判断、そして7つの人気UQを用いて、審査員のパフォーマンスは、UQ評価の信頼性に対する誤差の観測結果の影響を予測できるのみであり、また、i)判定誤差は最も情報に富むUQを表現する傾向にある。
• 参考スコア（独自算出の注目度）: 3.4992474047816184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The wide adoption of LLMs across broad NLG applications heightens the importance of providing users with the means to avert errors and hallucinations. Uncertainty quantification is poised to fill that gap; with low uncertainty (high confidence), as a proxy for correctness, allowing users to be selective (e.g., reject low-confidence, likely incorrect responses). Correlation between confidence and correctness then serves as a useful criterion for evaluation of uncertainty quantifiers (UQs). But in NLG, where diverse responses can be adequate to a prompt, obtaining reliable correctness judgements is not simple, especially without human intervention. Errors in automated judgement are hardly avoidable and known to diminish the reliability of evaluation protocols (Santilli et al., 2025; Ielanskyi et al., 2025). In a meta-analysis of published work, we show that automated judgement is the present norm. Besides, automated judgements are rarely validated against human ones, and the validation of the UQ evaluation they automate is even rarer. With experiments in question answering, using 4 LLMs, human and automated judgements and 7 popular UQs, we find that i) a judge's performance can only coarsely predict the observed impact of its errors on the reliability of UQ evaluation, and that ii) judgement errors tend to misrepresent informative UQs most. We link these observations to patterns of correlation between confidence and categories of judgement error.
• Abstract（参考訳）: 幅広いNLGアプリケーションにまたがるLLMの採用は、エラーや幻覚を避ける手段をユーザに提供することの重要性を高める。 不確かさの定量化は、そのギャップを埋めるための手段であり、不確実性(高い信頼度)が低いため、ユーザーが選択可能である(例えば、低信頼であり、おそらく不正確な応答を拒否する)。 信頼性と正しさの相関は、不確実量化器(UQ)の評価に有用な基準となる。 しかし、多様な応答がプロンプトに適しているNLGでは、信頼性の高い正当性判定を得ることは、特に人間の介入なしには簡単ではない。 自動判断の誤りはほとんど避けられず、評価プロトコルの信頼性を低下させることが知られている(Santilli et al , 2025; Ielanskyi et al , 2025)。 論文のメタ分析において, 自動判断が現在標準であることを示す。 加えて、自動化された判断が人間に対して検証されることは稀であり、自動化されたUQ評価の検証はさらに稀である。 質問に答える実験では、4つのLLM、人間と自動化された判断、そして7つの人気のあるUQを使って、私たちはそれを見つけました。 一 裁判官のパフォーマンスは、その誤りの観測された影響がUQ評価の信頼性に与える影響を粗末に予測することができること。 二 判定誤差は、最も情報的UQを誤認する傾向があること。 これらの観察を,信頼度と判断誤差のカテゴリーの相関パターンに関連付ける。

関連論文リスト

• Uncertainty-Aware Abstention in Large Language Models with Provable Alignment Guarantees [0.5371337604556311]
  大規模言語モデル (LLM) は質問応答システム (QA) に徐々にデプロイされている。 信頼度を見積もることなく、幻覚または不一致の応答を生成することができる。 我々は、任意の不確実性スコアをリスク制御された選択応答規則に変換する信頼区間に基づくキャリブレーションフレームワークであるCICを提案する。
  論文  参考訳（メタデータ） (2026-07-05T17:50:32Z)
• Evaluating and Mitigating LLM-as-a-judge Bias in Communication Systems [32.83708359216193]
  大規模言語モデル(LLM)は、コミュニケーションシステムにおけるコンテンツの品質を自律的に評価するために、ますます使われている。 本稿では,2つのLLM-as-a-judgeモデルにおける判定バイアスをポイントワイド評価条件下で系統的に検討する。 我々は,実践的なコミュニケーションシナリオにおいて,公平かつ信頼性の高いAIを確保するための4つの潜在的な緩和戦略を提案する。
  論文  参考訳（メタデータ） (2025-10-14T12:52:29Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Evaluating ASR Confidence Scores for Automated Error Detection in User-Assisted Correction Interfaces [5.266869303483375]
  本研究では、エンド・ツー・エンドのASRモデルの総合的な解析により、誤り検出のための信頼度スコアの信頼性を評価する。 その結果,信頼度スコアは転写精度と相関するが,誤り検出性能は限定的であることがわかった。 これらの知見は、信頼性スコアの限界と、ASR結果のユーザインタラクションと説明可能性を改善するためのより洗練されたアプローチの必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-03-19T11:33:40Z)
• Legitimate ground-truth-free metrics for deep uncertainty classification scoring [3.9599054392856483]
  製造における不確実性定量化(UQ)手法の使用は依然として限られている。 この制限は、UQ基底真理を欠いたUQ手法を検証するという課題によってさらに悪化する。 本稿では,これらの指標を考察し,理論的に良好であり,実際に不確実な基礎的真理に結びついていることを証明する。
  論文  参考訳（メタデータ） (2024-10-30T14:14:32Z)
• Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
  自動生成関連判定(QPP-GenRE)を用いた新しいクエリ性能予測(QPP)フレームワークを提案する。 QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。 我々は,オープンソースの大規模言語モデル (LLM) を用いて,科学的妥当性を確保することにより,項目の関連性を予測する。
  論文  参考訳（メタデータ） (2024-04-01T09:33:05Z)
• Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback [91.22679548111127]
  信頼できる現実世界の予測システムは、よく校正された信頼スコアを生成するべきである。 出力トークンとして出力される言語的信頼度は、通常、モデルの条件付き確率よりも良く校正されていることを示す。
  論文  参考訳（メタデータ） (2023-05-24T10:12:33Z)
• Towards Clear Expectations for Uncertainty Estimation [64.20262246029286]
  不確実性定量化(UQ)は、信頼できる機械学習(ML)を実現するために不可欠である ほとんどのUQ手法は、異なる不整合評価プロトコルに悩まされている。 この意見書は、これらの要件を5つの下流タスクを通して指定することで、新たな視点を提供する。
  論文  参考訳（メタデータ） (2022-07-27T07:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。