論文の概要: Efficient Epistemic Uncertainty Estimation for Large Language Models via Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2602.01956v1
• Date: Mon, 02 Feb 2026 11:03:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.095884
• Title: Efficient Epistemic Uncertainty Estimation for Large Language Models via Knowledge Distillation
• Title（参考訳）: 知識蒸留による大規模言語モデルの効率的な認識不確かさ推定
• Authors: Seonghyeon Park, Jewon Yeom, Jaewon Sok, Jeongjae Park, Heejun Kim, Taesup Kim,
• Abstract要約: ディープ・アンサンブルス(Deep Ensembles)によるエピステミック不確実性(EU)は、現代のモデルの規模で計算的に禁止されている。 トークンレベルのEUを効率的に推定するために,小型のドラフトモデルを活用するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 8.883246421566243
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantifying uncertainty in Large Language Models (LLMs) is essential for mitigating hallucinations and enabling risk-aware deployment in safety-critical tasks. However, estimating Epistemic Uncertainty(EU) via Deep Ensembles is computationally prohibitive at the scale of modern models. We propose a framework that leverages the small draft models to efficiently estimate token-level EU, bypassing the need for full-scale ensembling. Theoretically grounded in a Bias-Variance Decomposition, our approach approximates EU via Jensen-Shannon divergence among drafts (variance proxy) and KL divergence between the draft mixture and the target (bias proxy). To further ensure accuracy without significant overhead, we introduce Online Stochastic Distillation (OSD) to efficiently approximate target aggregation and the Data-Diverse Drafts (DDD) strategy to enhance draft diversity for better target approximation. Extensive experiments on GSM8K demonstrate that our method reduces the estimation error (RMSE) by up to 37% compared to baselines. Crucially, our approach achieves Hallucination Detection performance competitive with heavy perturbation-based methods like TokUR while incurring negligible inference costs, offering a practical solution for uncertainty-aware LLM deployment.
• Abstract（参考訳）: 大規模言語モデル(LLM)における不確実性の定量化は、幻覚を緩和し、安全クリティカルなタスクにおけるリスク認識の展開を可能にするために不可欠である。 しかし、Deep Ensembles によるエピステミック不確実性(EU)の推定は、現代のモデルの規模で計算的に禁止されている。 トークンレベルのEUを効率的に推定するために,小型のドラフトモデルを活用するフレームワークを提案する。 理論的にはバイアス分散分解を基礎として,提案手法は草案間のイェンセン・シャノンの分岐(分散プロキシ)と原案と目標(バイアスプロキシ)のKLの分岐(バイアスプロキシ)を介してEUを近似する。 オーバヘッドを伴わずに精度を高めるため,ターゲットアグリゲーションを効率的に近似するためのオンライン確率蒸留(OSD)と,目標近似を改善するためのドラフトの多様性を高めるためのデータ・ディバースドラフト(DDD)戦略を導入する。 GSM8Kの大規模実験により,本手法はベースラインに比べて最大37%の誤差(RMSE)を減少させることが示された。 本手法は,TokURのような重度摂動法と競合する幻覚検出性能を実現するとともに,無視可能な推論コストを発生させ,不確実性を考慮したLCM展開のための実用的なソリューションを提供する。

関連論文リスト

• ESI: Epistemic Uncertainty Quantification via Semantic-preserving Intervention for Large Language Models [23.44710972442814]
  不確実性定量化(UQ)はモデルの信頼性を向上させるための有望なアプローチであるが、Large Language Models(LLM)の不確実性は自明ではない。 本稿では,意味保存介入前後のモデル出力の変動を計測する新しいグレイボックス不確実性定量化手法を提案する。
  論文  参考訳（メタデータ） (2025-10-15T02:46:43Z)
• Towards Reliable LLM-based Robot Planning via Combined Uncertainty Estimation [68.106428321492]
  大規模言語モデル (LLM) は高度な推論能力を示し、ロボットが自然言語の命令を理解し、適切な接地で高レベルな計画を生成することができる。 LLMの幻覚は重大な課題であり、しばしば過度に信頼され、不一致または安全でない計画に繋がる。 本研究は, 信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性評価を別々に評価するものである。
  論文  参考訳（メタデータ） (2025-10-09T10:26:58Z)
• Decoding Uncertainty: The Impact of Decoding Strategies for Uncertainty Estimation in Large Language Models [58.198220611190884]
  大規模言語モデル(LLM)における復号化戦略が不確実性推定に与える影響について検討する。 実験の結果,反復を緩和するContrastive Searchは,所望のLLMに対して,平均不確かさを推定できることがわかった。
  論文  参考訳（メタデータ） (2025-09-20T13:48:13Z)
• Quantifying Adversarial Uncertainty in Evidential Deep Learning using Conflict Resolution [2.321323878201932]
  C-EDL (Conflict-aware Evidential Deep Learning) は、ポストホック後の不確実性定量化手法である。 C-EDLは入力毎に多様なタスク保存変換を生成し、不一致を定量化して不確実性推定を校正する。 実験により,C-EDLは最先端のEDLと競争ベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2025-06-06T10:06:23Z)
• Towards Harmonized Uncertainty Estimation for Large Language Models [22.58034272573749]
  不確実性推定によって世代間の信頼性を定量化することが不可欠である。 CUE(Corrector for Uncertainity Estimation:不確かさ推定のためのコレクタ)を提案する。
  論文  参考訳（メタデータ） (2025-05-25T10:17:57Z)
• Improving Uncertainty Quantification in Large Language Models via Semantic Embeddings [11.33157177182775]
  大規模言語モデル(LLM)における正確な不確実性の定量化は、信頼性の高いデプロイメントに不可欠である。 LLMにおける意味的不確実性を測定するための現在の最先端手法は、厳密な双方向の包含基準に依存している。 本研究では,意味的不確実性のよりスムーズでロバストな推定を実現するためにセマンティックな埋め込みを利用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-30T04:41:46Z)
• Revisiting Essential and Nonessential Settings of Evidential Deep Learning [70.82728812001807]
  Evidential Deep Learning (EDL) は不確実性推定の新しい手法である。 本報告では,EDLの簡易かつ効果的な拡張型であるRe-EDLを提案する。
  論文  参考訳（メタデータ） (2024-10-01T04:27:07Z)
• Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
  我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。 評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
  論文  参考訳（メタデータ） (2024-08-20T09:42:26Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。