論文の概要: Why Don't You Know? Evaluating the Impact of Uncertainty Sources on Uncertainty Quantification in LLMs

• arxiv url: http://arxiv.org/abs/2604.10495v1
• Date: Sun, 12 Apr 2026 07:01:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.050651
• Title: Why Don't You Know? Evaluating the Impact of Uncertainty Sources on Uncertainty Quantification in LLMs
• Title（参考訳）: なぜ知らないのか? LLMの不確かさの定量化に及ぼす不確かさ源の影響の評価
• Authors: Maiya Goloburda, Roman Vashurin, Fedor Chernogorsky, Nurkhan Laiyk, Daniil Orel, Preslav Nakov, Maxim Panov,
• Abstract要約: 本研究では,不確実性源が既存の不確実性定量化手法の挙動と有効性に与える影響について検討する。 実験の結果,不確実性がモデル知識の限界からのみ生じる場合,その性能が劣化するか,他の情報源が導入された場合に誤解を招く場合,多くのUQ手法が良好に機能することがわかった。 これらの知見は,大規模言語モデルにおける不確実性の原因を明示的に考慮する不確実性認識手法の必要性を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 45.76238407794631
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Large Language Models (LLMs) are increasingly deployed in real-world applications, reliable uncertainty quantification (UQ) becomes critical for safe and effective use. Most existing UQ approaches for language models aim to produce a single confidence score -- for example, estimating the probability that a model's answer is correct. However, uncertainty in natural language tasks arises from multiple distinct sources, including model knowledge gaps, output variability, and input ambiguity, which have different implications for system behavior and user interaction. In this work, we study how the source of uncertainty impacts the behavior and effectiveness of existing UQ methods. To enable controlled analysis, we introduce a new dataset that explicitly categorizes uncertainty sources, allowing systematic evaluation of UQ performance under each condition. Our experiments reveal that while many UQ methods perform well when uncertainty stems solely from model knowledge limitations, their performance degrades or becomes misleading when other sources are introduced. These findings highlight the need for uncertainty-aware methods that explicitly account for the source of uncertainty in large language models.
• Abstract（参考訳）: 大規模言語モデル(LLM)が現実世界のアプリケーションにますます導入されるにつれて、信頼性の高い不確実性定量化(UQ)が安全かつ効果的な使用のために重要になる。 既存の言語モデルのUQアプローチのほとんどは、単一の信頼度スコア(例えば、モデルの答えが正しい確率を推定する)を作成することを目的としています。 しかし、自然言語タスクの不確実性は、モデル知識ギャップ、出力変数、入力あいまいさなど、複数の異なるソースから生じ、システムの振る舞いやユーザインタラクションに異なる意味を持つ。 本研究では,不確実性の源泉が既存のUQ手法の挙動と有効性に与える影響について検討する。 制御された解析を可能にするために,不確実性ソースを明示的に分類する新たなデータセットを導入し,各条件下でのUQ性能の体系的評価を可能にする。 実験の結果,不確実性がモデル知識の限界からのみ生じる場合,その性能が劣化するか,他の情報源が導入された場合に誤解を招く場合,多くのUQ手法が良好に機能することがわかった。 これらの知見は,大規模言語モデルにおける不確実性の原因を明示的に考慮する不確実性認識手法の必要性を浮き彫りにしている。

関連論文リスト

• Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models [24.72990207218907]
  LLM(Large Language Models)は、畳み込み(confabulation)として知られる、流動的だが不正なコンテンツを生成する傾向にある。 本研究では、文脈内情報がモデル行動にどのように影響するか、LLMが信頼できない応答を識別できるかを検討する。
  論文  参考訳（メタデータ） (2025-08-11T16:12:36Z)
• Uncertainty Profiles for LLMs: Uncertainty Source Decomposition and Adaptive Model-Metric Selection [4.151658495779136]
  大型言語モデル(LLM)は、幻覚として知られる事実的に誤った出力を生成することが多い。 本研究では,不確実性を4つの異なるソースに分解するための系統的枠組みを提案する。 本稿では,その不確実性特性と与えられたタスクのアライメントやばらつきによって導かれるタスク固有距離/モデル選択法を提案する。
  論文  参考訳（メタデータ） (2025-05-12T07:55:22Z)
• Uncertainty Quantification and Confidence Calibration in Large Language Models: A Survey [11.737403011836532]
  LLM(Large Language Models)は、医療、法律、交通といった高度な分野において、テキスト生成、推論、意思決定に優れる。 不確実性定量化(UQ)は、アウトプットの信頼度を推定することで信頼性を高め、リスク軽減と選択的予測を可能にする。 計算効率と不確実性次元に基づいてUQ手法を分類する新しい分類法を提案する。
  論文  参考訳（メタデータ） (2025-03-20T05:04:29Z)
• Uncertainty Quantification for LLMs through Minimum Bayes Risk: Bridging Confidence and Consistency [66.96286531087549]
  大規模言語モデル(LLM)のための不確実性定量化(UQ)手法は、様々なアプローチを含んでいる。 本稿では,モデル信頼度と出力整合性を統合する新しい手法を提案する。 我々は,質問応答,抽象要約,機械翻訳など,様々なタスクに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2025-02-07T14:30:12Z)
• Enhancing Trust in Large Language Models with Uncertainty-Aware Fine-Tuning [10.457661605916435]
  大規模言語モデル(LLM)は、その印象的な推論と質問応答能力によって自然言語処理の分野に革命をもたらした。 LLMは時に、幻覚として知られる、信頼できるが誤った情報を生成する傾向にある。 本稿では,決定論の原理に基づく不確実性を考慮した因果的言語モデリング損失関数を提案する。
  論文  参考訳（メタデータ） (2024-12-03T23:14:47Z)
• Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
  我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。 評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
  論文  参考訳（メタデータ） (2024-08-20T09:42:26Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。