論文の概要: The Illusion of Certainty: Uncertainty quantification for LLMs fails under ambiguity

• arxiv url: http://arxiv.org/abs/2511.04418v1
• Date: Thu, 06 Nov 2025 14:46:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.460331
• Title: The Illusion of Certainty: Uncertainty quantification for LLMs fails under ambiguity
• Title（参考訳）: LLMの不確実性:不確実性の定量化はあいまいさの下で失敗する
• Authors: Tim Tomov, Dominik Fuchsgruber, Tom Wollschläger, Stephan Günnemann,
• Abstract要約: そこで本研究では,第1の曖昧な質問応答(QA)データセットであるMAQA*とAmbigQA*を紹介する。 予測分布とアンサンブルに基づく推定器は、あいまいさの下では基本的に限定的であることを示す。
• 参考スコア（独自算出の注目度）: 48.899855816199484
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Accurate uncertainty quantification (UQ) in Large Language Models (LLMs) is critical for trustworthy deployment. While real-world language is inherently ambiguous, reflecting aleatoric uncertainty, existing UQ methods are typically benchmarked against tasks with no ambiguity. In this work, we demonstrate that while current uncertainty estimators perform well under the restrictive assumption of no ambiguity, they degrade to close-to-random performance on ambiguous data. To this end, we introduce MAQA* and AmbigQA*, the first ambiguous question-answering (QA) datasets equipped with ground-truth answer distributions estimated from factual co-occurrence. We find this performance deterioration to be consistent across different estimation paradigms: using the predictive distribution itself, internal representations throughout the model, and an ensemble of models. We show that this phenomenon can be theoretically explained, revealing that predictive-distribution and ensemble-based estimators are fundamentally limited under ambiguity. Overall, our study reveals a key shortcoming of current UQ methods for LLMs and motivates a rethinking of current modeling paradigms.
• Abstract（参考訳）: LLM(Large Language Models)における正確な不確実性定量化(UQ)は、信頼できるデプロイメントに不可欠である。 現実の言語は本質的に曖昧であり、アレター的不確かさを反映しているが、既存のUQメソッドは曖昧さのないタスクに対してベンチマークされるのが一般的である。 本研究では,現在の不確実性推定器があいまいさのない制約的仮定の下では良好に機能することを示すが,不明瞭なデータ上でのランダムに近い性能に低下することを示した。 この目的のために, 事実共起から推定される地味な回答分布を備えた最初のあいまいな質問応答(QA)データセットであるMAQA*とAmbigQA*を紹介する。 この性能劣化は、予測分布自体の使用、モデル全体の内部表現、モデルのアンサンブルなど、様々な推定パラダイムで一致している。 この現象は理論的に説明でき、予測分布とアンサンブルに基づく推定器はあいまいさの下では基本的に限定的であることを示す。 本研究は,LLMにおける現在のUQ手法の重要な欠点を明らかにし,現在のモデリングパラダイムを再考する動機となっている。

関連論文リスト

• Uncertainty as Feature Gaps: Epistemic Uncertainty Quantification of LLMs in Contextual Question-Answering [29.4458902836278]
  本稿では,与えられたモデルの予測分布と未知の真の分布との相互エントロピーとして定義されたタスクに依存しないトークンレベルの不確実性尺度を提案する。 我々は不確実性の上限を導出し、与えられたモデルの隠された表現において意味的特徴ギャップとして解釈できることを示す。 この一般的なフレームワークを文脈的QAタスクに適用し、文脈信頼、文脈理解、誠実さの3つの特徴がこのギャップを近似していると仮定する。
  論文  参考訳（メタデータ） (2025-10-03T02:09:25Z)
• Inv-Entropy: A Fully Probabilistic Framework for Uncertainty Quantification in Language Models [12.743668975795144]
  大規模言語モデル(LLM)は自然言語処理を変換しているが、信頼性の高いデプロイメントには有効な不確実性定量化(UQ)が必要である。 既存のUQ手法はしばしば確率論的解釈を欠いている。 本稿では, 与えられた出力に条件付き入力空間の多様性を評価することによって不確実性を定量的に評価する, 逆モデルに基づく完全確率的フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-11T13:02:17Z)
• TokUR: Token-Level Uncertainty Estimation for Large Language Model Reasoning [27.449948943467163]
  token-level Uncertainty Estimation framework for Reasoning (TokUR)を提案する。 TokURは、大規模言語モデルにおいて、数学的推論における応答を自己評価し、自己改善することを可能にする。 様々な難易度を持つ数学的推論データセットの実験により、TokURは答えの正しさとモデルロバストネスと強い相関を示すことが示された。
  論文  参考訳（メタデータ） (2025-05-16T22:47:32Z)
• Addressing Uncertainty in LLMs to Enhance Reliability in Generative AI [47.64301863399763]
  中国レストランプロセスに触発された動的セマンティッククラスタリング手法を提案する。 生成したセマンティッククラスタのエントロピーを計算することにより,あるクエリ上でのLarge Language Model(LLM)の不確実性を定量化する。 本稿では,これらのクラスタの(負の)確率を,コンフォーマル予測フレームワーク内の(非)整合性スコアとして活用することを提案する。
  論文  参考訳（メタデータ） (2024-11-04T18:49:46Z)
• Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
  我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。 評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
  論文  参考訳（メタデータ） (2024-08-20T09:42:26Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。