論文の概要: Where Is Uncertainty Observed? A Mechanistic Understanding of Uncertainty Quantification in LLMs
- arxiv url: http://arxiv.org/abs/2611.15735v1
- Date: Wed, 11 Nov 2026 17:14:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.202351
- Title: Where Is Uncertainty Observed? A Mechanistic Understanding of Uncertainty Quantification in LLMs
- Title(参考訳): 不確かさはどこにあるのか? LLMにおける不確実性定量化の力学的理解
- Abstract要約: 不確かさの定量化は、大きな言語モデル(LLM)がその応答が信頼できないかどうかを認識するのに役立つ。
既存の手法は、不確実性ソースまたは推定メカニズムによってUQ手法を編成する。
我々は、4つのメカニスティックな観察レンズを定義し、それらが持っている情報によってそれらを順序付けする。
我々は、異なるUQ評価プロトコルを明らかにするために、評価対象、基準、メトリクスを区別する。
- 参考スコア(独自算出の注目度): 8.418171980929431
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowing when a large language model's (LLM's) response can be trusted is critical for its safe use. Uncertainty quantification (UQ) can help LLMs recognize if their responses may be unreliable. Existing taxonomies organize UQ methods by uncertainty source or estimation mechanism. They leave unresolved the question of where uncertainty is observed in the model's computation. The answer matters because the observation point determines whether an estimator has access to enough information to recover a given target, and how well it can recover it. Drawing on mechanistic interpretability, we define four mechanistic observation lenses: the structural lens observes component updates, the representational lens observes hidden states, the distributional lens observes token probabilities, and the semantical lens observes distributions over meanings. We relate these lenses through the residual stream and order them by the information they carry, which gives a principle for selecting UQ methods for different targets. We survey existing methods through the four lenses. Furthermore, we distinguish evaluation targets, criteria, and metrics to clarify different UQ evaluation protocols. Finally, we identify open problems and research directions to connect uncertainty estimation to the internal computation and downstream use of LLMs.
- Abstract(参考訳): 大きな言語モデル(LLM)のレスポンスがいつ信頼できるかを知ることは、その安全な使用にとって重要なことです。
不確実量化(UQ)は、LLMが応答が信頼できないかどうかを認識するのに役立つ。
既存の分類体系は、不確実性源または推定機構によってUQ手法を編成する。
彼らはモデルの計算で不確実性がどこで観測されるのかという問題を未解決のまま残している。
この答えは、推定者が所定の目標を回復するのに十分な情報にアクセスできるかどうか、そしてそれがどれだけうまく回復できるかを、観測点が決定するからである。
構造レンズはコンポーネントの更新を観察し、表現レンズは隠れた状態を観察し、分布レンズはトークンの確率を観測し、意味レンズは意味上の分布を観察する。
我々はこれらのレンズを残差ストリームを通して関連付け、それらが持つ情報によって順序付けし、異なるターゲットに対してUQメソッドを選択する原理を与える。
既存の手法を4つのレンズで調査する。
さらに,評価対象,基準,指標を識別し,異なるUQ評価プロトコルを明らかにする。
最後に、不確実性推定と内部計算とLLMの下流利用を結びつけるためのオープンな問題と研究の方向性を同定する。
関連論文リスト
- "very likely" Means "uncertain"? How LLMs Diverge from Humans in Linguistic Uncertainty Quantification [60.06977041561786]
人間は言葉でマーカーを通して不確実性を表現する(例:「可能性」、または「様々」)
ほとんどの不確実性定量化(UQ)は、確率や一貫性に基づく信号のコストに依存する。
我々は,不確実性マーカーに対する最適な不確実性プロファイルを学習する新しい最適化アルゴリズムである MethodNAME を紹介する。
論文 参考訳(メタデータ) (2026-09-06T19:31:45Z) - Uncertainty as Feature Gaps: Epistemic Uncertainty Quantification of LLMs in Contextual Question-Answering [29.4458902836278]
本稿では,与えられたモデルの予測分布と未知の真の分布との相互エントロピーとして定義されたタスクに依存しないトークンレベルの不確実性尺度を提案する。
我々は不確実性の上限を導出し、与えられたモデルの隠された表現において意味的特徴ギャップとして解釈できることを示す。
この一般的なフレームワークを文脈的QAタスクに適用し、文脈信頼、文脈理解、誠実さの3つの特徴がこのギャップを近似していると仮定する。
論文 参考訳(メタデータ) (2025-10-03T02:09:25Z) - Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models [24.72990207218907]
LLM(Large Language Models)は、畳み込み(confabulation)として知られる、流動的だが不正なコンテンツを生成する傾向にある。
本研究では、文脈内情報がモデル行動にどのように影響するか、LLMが信頼できない応答を識別できるかを検討する。
論文 参考訳(メタデータ) (2025-08-11T16:12:36Z) - WakenLLM: Evaluating Reasoning Potential and Stability in LLMs via Fine-Grained Benchmarking [34.350505059394536]
大規模言語モデル(LLM)は、推論タスクにおいて未知のラベルを頻繁に出力する。
我々は、モデル非能力に起因する未知の出力の一部を定量化するフレームワーク、WakenLLMを紹介した。
論文 参考訳(メタデータ) (2025-07-22T03:21:48Z) - Rethinking LLM Uncertainty: A Multi-Agent Approach to Estimating Black-Box Model Uncertainty [47.95943057892318]
ブラックボックスLSMの不確実性の定量化は、信頼性の高い応答とスケーラブルな監視に不可欠である。
本研究では,不確実性推定にマルチエージェント相互作用を用いた新しい理論的基礎手法であるDiverseAgentEntropyを紹介する。
論文 参考訳(メタデータ) (2024-12-12T18:52:40Z) - Do Large Language Models Exhibit Cognitive Dissonance? Studying the Difference Between Revealed Beliefs and Stated Answers [13.644277507363036]
Revealed Beliefは,不確実性を考慮した推論を必要とするタスクに対して,Large Language Models (LLMs)を評価する評価フレームワークである。
以上の結果から,LSMは正しい回答をしばしば述べるが,Revealed Beliefは確率質量を不整合に割り当てることが多く,体系的な偏見を示し,新しい証拠が提示された時にその信念を適切に更新することができないことが示唆された。
論文 参考訳(メタデータ) (2024-06-21T08:56:35Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-05T16:35:30Z) - To Believe or Not to Believe Your LLM [51.2579827761899]
大規模言語モデル(LLM)における不確実性定量化について検討する。
疫学的な不確実性が大きい場合にのみ確実に検出できる情報理論の指標を導出する。
定式化の利点を実証する一連の実験を行う。
論文 参考訳(メタデータ) (2024-06-04T17:58:18Z) - Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities [79.9629927171974]
大規模言語モデル(LLM)の不確実性は、安全性と信頼性が重要であるアプリケーションには不可欠である。
ホワイトボックスとブラックボックス LLM における不確実性評価手法である Kernel Language Entropy (KLE) を提案する。
論文 参考訳(メタデータ) (2024-05-30T12:42:05Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳(メタデータ) (2023-11-15T05:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。