論文の概要: Fine-Grained Uncertainty Decomposition in Large Language Models: A Spectral Approach

• arxiv url: http://arxiv.org/abs/2509.22272v1
• Date: Fri, 26 Sep 2025 12:39:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.42029
• Title: Fine-Grained Uncertainty Decomposition in Large Language Models: A Spectral Approach
• Title（参考訳）: 大規模言語モデルにおける微細粒不確かさ分解 : スペクトル的アプローチ
• Authors: Nassim Walha, Sebastian G. Gruber, Thomas Decker, Yinchong Yang, Alireza Javanmardi, Eyke Hüllermeier, Florian Buettner,
• Abstract要約: 本稿では,大規模言語モデルにおける不確実性を定量化し,分解する新しい手法であるスペクトル不確実性を紹介する。 既存のベースライン法とは異なり、本手法は意味的類似性のきめ細かい表現を取り入れている。 実験的評価により、スペクトル不確かさは、アレタリックとトータル不確実性の両方を推定する最先端の手法より優れていることが示された。
• 参考スコア（独自算出の注目度）: 32.528332797693984
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Large Language Models (LLMs) are increasingly integrated in diverse applications, obtaining reliable measures of their predictive uncertainty has become critically important. A precise distinction between aleatoric uncertainty, arising from inherent ambiguities within input data, and epistemic uncertainty, originating exclusively from model limitations, is essential to effectively address each uncertainty source. In this paper, we introduce Spectral Uncertainty, a novel approach to quantifying and decomposing uncertainties in LLMs. Leveraging the Von Neumann entropy from quantum information theory, Spectral Uncertainty provides a rigorous theoretical foundation for separating total uncertainty into distinct aleatoric and epistemic components. Unlike existing baseline methods, our approach incorporates a fine-grained representation of semantic similarity, enabling nuanced differentiation among various semantic interpretations in model responses. Empirical evaluations demonstrate that Spectral Uncertainty outperforms state-of-the-art methods in estimating both aleatoric and total uncertainty across diverse models and benchmark datasets.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多様なアプリケーションにますます統合されつつあるため、予測の不確実性に関する信頼性の高い尺度が重要になっている。 入力データ中の固有曖昧性から生じるアレタリック不確実性と、モデル制限から排他的に生じるてんかん不確実性とを正確に区別することは、各不確実性源に効果的に対処するために不可欠である。 本稿では,LLMにおける不確実性を定量化し,分解する新しい手法であるスペクトル不確実性を紹介する。 量子情報理論からフォン・ノイマンエントロピーを活用することで、スペクトル不確実性は、完全な不確実性を別々のアレタリック成分とエピステミック成分に分離するための厳密な理論基盤を提供する。 既存のベースライン法とは異なり,本手法は意味的類似性の微細な表現を取り入れ,モデル応答における様々な意味的解釈間のニュアンス付き微分を可能にする。 実験的評価により、スペクトル不確実性は、様々なモデルやベンチマークデータセットでアレータリックとトータルの不確実性の両方を推定する最先端の手法より優れていることが示された。

関連論文リスト

• Why Machine Learning Models Fail to Fully Capture Epistemic Uncertainty [1.6112718683989882]
  我々は、機械学習モデルにおいて、よりきめ細かな疫学的不確実性源の分類を利用する。 以上の結果から,高モデル偏見は誤認を招きかねない不確実性の推定に繋がる可能性が示唆された。 一般的な2階不確実性手法は、バイアスによって引き起こされた誤差をアレータリック推定に体系的に曖昧にする。
  論文  参考訳（メタデータ） (2025-05-29T14:50:46Z)
• Probabilistic Modeling of Disparity Uncertainty for Robust and Efficient Stereo Matching [61.73532883992135]
  本稿では,新しい不確実性を考慮したステレオマッチングフレームワークを提案する。 我々はベイズリスクを不確実性の測定として採用し、データを別々に見積もり、不確実性をモデル化する。
  論文  参考訳（メタデータ） (2024-12-24T23:28:20Z)
• Improving Uncertainty Quantification in Large Language Models via Semantic Embeddings [11.33157177182775]
  大規模言語モデル(LLM)における正確な不確実性の定量化は、信頼性の高いデプロイメントに不可欠である。 LLMにおける意味的不確実性を測定するための現在の最先端手法は、厳密な双方向の包含基準に依存している。 本研究では,意味的不確実性のよりスムーズでロバストな推定を実現するためにセマンティックな埋め込みを利用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-30T04:41:46Z)
• Rethinking the Uncertainty: A Critical Review and Analysis in the Era of Large Language Models [42.563558441750224]
  大規模言語モデル(LLM)は、幅広い人工知能応用の基礎となっている。 現在の手法はしばしば、真の不確実性を特定し、測定し、対処するのに苦労する。 本稿では,不確実性の種類や原因を特定し,理解するための包括的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-10-26T15:07:15Z)
• Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities [79.9629927171974]
  大規模言語モデル(LLM)の不確実性は、安全性と信頼性が重要であるアプリケーションには不可欠である。 ホワイトボックスとブラックボックス LLM における不確実性評価手法である Kernel Language Entropy (KLE) を提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:42:05Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• Non-Linear Spectral Dimensionality Reduction Under Uncertainty [107.01839211235583]
  我々は、不確実性情報を活用し、いくつかの従来のアプローチを直接拡張する、NGEUと呼ばれる新しい次元削減フレームワークを提案する。 提案したNGEUの定式化は,大域的な閉形式解を示し,Radecherの複雑性に基づいて,基礎となる不確実性がフレームワークの一般化能力に理論的にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2022-02-09T19:01:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。