論文の概要: The Anatomy of Uncertainty in LLMs
- arxiv url: http://arxiv.org/abs/2603.24967v1
- Date: Thu, 26 Mar 2026 02:59:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-27 20:52:48.065815
- Title: The Anatomy of Uncertainty in LLMs
- Title(参考訳): LLMにおける不確かさの解剖
- Authors: Aditya Taparia, Ransalu Senanayake, Kowshik Thopalli, Vivek Narayanaswamy,
- Abstract要約: 我々は、不確実性を3つの異なる意味的構成要素に分解する不確実性分解フレームワークを提唱する。
我々のフレームワークは、LSMの信頼性を監査し、幻覚を検知し、目標とする介入やより信頼できるシステムへの道を開くためのより良い理解を提供する。
- 参考スコア(独自算出の注目度): 10.50144444577399
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding why a large language model (LLM) is uncertain about the response is important for their reliable deployment. Current approaches, which either provide a single uncertainty score or rely on the classical aleatoric-epistemic dichotomy, fail to offer actionable insights for improving the generative model. Recent studies have also shown that such methods are not enough for understanding uncertainty in LLMs. In this work, we advocate for an uncertainty decomposition framework that dissects LLM uncertainty into three distinct semantic components: (i) input ambiguity, arising from ambiguous prompts; (ii) knowledge gaps, caused by insufficient parametric evidence; and (iii) decoding randomness, stemming from stochastic sampling. Through a series of experiments we demonstrate that the dominance of these components can shift across model size and task. Our framework provides a better understanding to audit LLM reliability and detect hallucinations, paving the way for targeted interventions and more trustworthy systems.
- Abstract(参考訳): 大規模な言語モデル(LLM)が応答に不確実である理由を理解することは、信頼性の高いデプロイメントにおいて重要である。
現在のアプローチは、単一の不確実性スコアを提供するか、古典的アレタリック・エピステミック二分法に依存するかのいずれかであり、生成モデルを改善するための実用的な洞察を提供することができない。
近年の研究では、LLMにおける不確実性を理解するにはそのような手法が不十分であることが示されている。
本研究では,LLMの不確実性を3つの異なる意味的構成要素に分解する不確実性分解フレームワークを提案する。
一 あいまいなプロンプトによる入力あいまいさ
(二 パラメトリックな証拠不足による知識ギャップ
三 確率的サンプリングから起因したランダム性を復号すること。
一連の実験を通じて、これらのコンポーネントの優位性は、モデルのサイズとタスクにまたがる可能性があることを実証します。
我々のフレームワークは、LSMの信頼性を監査し、幻覚を検知し、目標とする介入やより信頼できるシステムへの道を開くためのより良い理解を提供する。
関連論文リスト
- Towards Reliable LLM-based Robot Planning via Combined Uncertainty Estimation [68.106428321492]
大規模言語モデル (LLM) は高度な推論能力を示し、ロボットが自然言語の命令を理解し、適切な接地で高レベルな計画を生成することができる。
LLMの幻覚は重大な課題であり、しばしば過度に信頼され、不一致または安全でない計画に繋がる。
本研究は, 信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性評価を別々に評価するものである。
論文 参考訳(メタデータ) (2025-10-09T10:26:58Z) - Can Multiple Responses from an LLM Reveal the Sources of Its Uncertainty? [11.309445539128733]
大規模言語モデル(LLM)は、さまざまな領域で大きなブレークスルーをもたらしたが、信頼できない、あるいは誤解を招くアウトプットを生成することができる。
LLMが不確実である場合、その多重応答間の不一致パターンには、不確実性の根本原因に関する深い手がかりが含まれていることが示される。
論文 参考訳(メタデータ) (2025-08-28T20:14:35Z) - Semantic Volume: Quantifying and Detecting both External and Internal Uncertainty in LLMs [13.982395477368396]
大規模言語モデル (LLM) は、膨大な事実知識を符号化することで、様々なタスクにまたがる顕著な性能を示した。
彼らはまだ幻覚を起こす傾向があり、誤った情報や誤解を招く情報を生み出し、しばしば高い不確実性を伴う。
LLMにおける外部不確実性と内部不確実性の両方を定量化する新しい尺度であるSemantic Volumeを紹介する。
論文 参考訳(メタデータ) (2025-02-28T17:09:08Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-05T16:35:30Z) - Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities [79.9629927171974]
大規模言語モデル(LLM)の不確実性は、安全性と信頼性が重要であるアプリケーションには不可欠である。
ホワイトボックスとブラックボックス LLM における不確実性評価手法である Kernel Language Entropy (KLE) を提案する。
論文 参考訳(メタデータ) (2024-05-30T12:42:05Z) - Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。
両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。
提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
論文 参考訳(メタデータ) (2024-02-15T18:46:24Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳(メタデータ) (2023-11-15T05:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。