論文の概要: Semantic Self-Distillation for Language Model Uncertainty

• arxiv url: http://arxiv.org/abs/2602.04577v1
• Date: Wed, 04 Feb 2026 14:03:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 19:45:11.559534
• Title: Semantic Self-Distillation for Language Model Uncertainty
• Title（参考訳）: 言語モデル不確かさに対する意味的自己蒸留
• Authors: Edward Phillips, Sean Wu, Boyan Gao, David A. Clifton,
• Abstract要約: 軽量な学生モデルでは,言語モデルが応答トークンを生成する前に,迅速な条件付き不確実性を推定できることを示す。 この分布のエントロピーは、幻覚予測のための効果的な不確実性信号を提供し、確率密度は、候補回答を信頼性のために評価することを可能にする。 TriviaQAでは,学生モデルが幻覚予測のための有限サンプルセマンティック分散に適合あるいは優れ,ドメイン外応答検出のための強い信号を提供する。
• 参考スコア（独自算出の注目度）: 19.97226069762587
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models present challenges for principled uncertainty quantification, in part due to their complexity and the diversity of their outputs. Semantic dispersion, or the variance in the meaning of sampled answers, has been proposed as a useful proxy for model uncertainty, but the associated computational cost prohibits its use in latency-critical applications. We show that sampled semantic distributions can be distilled into lightweight student models which estimate a prompt-conditioned uncertainty before the language model generates an answer token. The student model predicts a semantic distribution over possible answers; the entropy of this distribution provides an effective uncertainty signal for hallucination prediction, and the probability density allows candidate answers to be evaluated for reliability. On TriviaQA, our student models match or outperform finite-sample semantic dispersion for hallucination prediction and provide a strong signal for out-of-domain answer detection. We term this technique Semantic Self-Distillation (SSD), which we suggest provides a general framework for distilling predictive uncertainty in complex output spaces beyond language.
• Abstract（参考訳）: 大規模言語モデルは、その複雑さと出力の多様性のために、原理化された不確実性定量化の課題を提示する。 セマンティック分散(Semanticvariance)は、モデル不確実性の指標として提案されているが、関連する計算コストは遅延クリティカルなアプリケーションでの使用を禁止している。 サンプル化された意味分布を軽量な学生モデルに抽出し,言語モデルが応答トークンを生成する前に,迅速な条件付き不確実性を推定できることを示す。 この分布のエントロピーは幻覚予測に有効な不確実性信号を与え、確率密度は候補回答を信頼性のために評価することを可能にする。 TriviaQAでは,学生モデルが幻覚予測のための有限サンプルセマンティック分散に適合あるいは優れ,ドメイン外応答検出のための強い信号を提供する。 本稿では、この手法をセマンティック自己蒸留(SSD)と呼び、言語以外の複雑な出力空間における予測不確実性を蒸留するための一般的な枠組みを提案する。

関連論文リスト

• The Illusion of Certainty: Uncertainty quantification for LLMs fails under ambiguity [48.899855816199484]
  そこで本研究では,第1の曖昧な質問応答(QA)データセットであるMAQA*とAmbigQA*を紹介する。 予測分布とアンサンブルに基づく推定器は、あいまいさの下では基本的に限定的であることを示す。
  論文  参考訳（メタデータ） (2025-11-06T14:46:35Z)
• Efficient semantic uncertainty quantification in language models via diversity-steered sampling [46.23327887393273]
  本稿では,デコード中に意味的に冗長な出力を回避できるダイバーシティステアリング・サンプリング手法を提案する。 主要なアイデアは、モデルの提案分布に連続的な意味-類似性ペナルティを注入することである。 モジュラーであり、ベースLSMへの勾配アクセスを必要としないため、このフレームワークは不確実性評価のためのドロップインエンハンスメントとして機能することを約束している。
  論文  参考訳（メタデータ） (2025-10-24T10:06:21Z)
• Variability Need Not Imply Error: The Case of Adequate but Semantically Distinct Responses [7.581259361859477]
  不確実性定量化ツールは、モデルが不確実である場合の応答を拒否するために使用できます。 我々は、モデルがAdequate Responses (PROBAR)に割り当てる確率を推定する。 ProBARはアンビグニティ/オープンエンディエントネスの異なるプロンプトでセマンティックエントロピーを上回ります。
  論文  参考訳（メタデータ） (2024-12-20T09:02:26Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
  本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。 この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
  論文  参考訳（メタデータ） (2023-08-03T12:43:21Z)
• User-defined Event Sampling and Uncertainty Quantification in Diffusion Models for Physical Dynamical Systems [49.75149094527068]
  拡散モデルを用いて予測を行い,カオス力学系に対する不確かさの定量化が可能であることを示す。 本研究では,雑音レベルが低下するにつれて真の分布に収束する条件付きスコア関数の確率的近似法を開発する。 推論時に非線形ユーザ定義イベントを条件付きでサンプリングすることができ、分布の尾部からサンプリングした場合でもデータ統計と一致させることができる。
  論文  参考訳（メタデータ） (2023-06-13T03:42:03Z)
• Uncertainty Estimation in Deep Speech Enhancement Using Complex Gaussian Mixture Models [19.442685015494316]
  単一チャンネルのディープ音声強調手法は、その精度を測らずにクリーン音声を抽出するために単一の乗法マスクを推定することが多い。 本稿では,ニューラルネットワークによる音声強調におけるクリーン音声推定に伴う不確かさの定量化を提案する。
  論文  参考訳（メタデータ） (2022-12-09T13:03:09Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。