Fugu-MT 論文翻訳(概要): The Origins of Stochasticity: Comprehensive Investigations on Uncertainty Quantification for Large Language Models

論文の概要: The Origins of Stochasticity: Comprehensive Investigations on Uncertainty Quantification for Large Language Models

arxiv url: http://arxiv.org/abs/2606.22792v1
Date: Mon, 22 Jun 2026 03:05:04 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-25 04:36:17.950596
Title: The Origins of Stochasticity: Comprehensive Investigations on Uncertainty Quantification for Large Language Models
Title（参考訳）: 確率性の起源:大規模言語モデルにおける不確実性定量化に関する包括的考察
Abstract要約: 本稿では,不確かさを入力レベル,パラメータレベル,トークンレベル,復号処理源に分類する,きめ細かい不確実性分類法を提案する。多様な世代設定とメトリクスを網羅した総合評価フレームワークを導入する。実験の結果、(i)UQ手法の有効性はタスクタイプや生成設定に敏感であり、(ii)コンセンサスに基づく手法は、他のUQ手法よりも一貫して優れており、(iii)より大規模なモデルスケールは、低い不確実性推定と相関していることが示された。
参考スコア（独自算出の注目度）: 12.213066436465601
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent advancements in Large Language Models (LLMs) have enabled sophisticated reasoning and content generation, yet their inherent stochasticity poses significant challenges for ensuring predictive credibility. While traditional uncertainty taxonomy paradigms, such as the dichotomy of aleatoric and epistemic uncertainties, provide conceptual foundations, they often fail to capture the multi-component and multi-stage nature of LLM generation and struggle to evaluate the effectiveness of various Uncertainty Quantification (UQ) methods. In this paper, we propose a granular uncertainty taxonomy that systematically attributes LLM uncertainty into input-level, parameter-level, token-level, and decoding-process sources. Correspondingly, we categorize existing UQ methods into Bayesian, ensemble, consensus-based, and single-pass approaches. Furthermore, we introduce a comprehensive evaluation framework covering diverse generation settings and metrics. We empirically evaluate 21 typical UQ methods across three prominent LLM families, including Qwen3, Llama 3.2, and DeepSeek-V3, on benchmarks such as TriviaQA, GSM8K, and HumanEval. Our experimental results demonstrate that (i) the effectiveness of UQ methods is sensitive to task types and generation settings; (ii) consensus-based methods, typed Deg and EigV, consistently outperform other UQ approaches; and (iii) larger model scales correlate with lower uncertainty estimates, suggesting an empirical scaling law for LLM uncertainty. This work bridges the gap between theoretical origins and practical deployment, providing a versatile diagnostic tool for systematically quantifying uncertainty in LLM applications.
Abstract（参考訳）: 近年のLarge Language Models(LLM)の進歩により、洗練された推論とコンテンツ生成が可能になったが、その固有の確率性は予測可能性を確保する上で大きな課題となっている。従来の不確実性分類のパラダイム、例えば、失語症とてんかんの不確実性の二分法は概念的基盤を提供するが、LLM生成の多成分および多段階の性質を捉えることができず、様々な不確実性定量化(UQ)手法の有効性を評価するのに苦労する。本稿では, LLMの不確かさを入力レベル, パラメータレベル, トークンレベル, 復号処理ソースに体系的に属性付ける, きめ細かい不確実性分類法を提案する。それに対応して、既存のUQ手法をベイズ、アンサンブル、コンセンサスベース、シングルパスアプローチに分類する。さらに、多様な世代設定とメトリクスを網羅した総合的な評価フレームワークを導入する。我々は、TriviaQA、GSM8K、HumanEvalなどのベンチマークで、Qwen3、Llama 3.2、DeepSeek-V3を含む3つのLLMファミリーにまたがる21の典型的なUQ手法を実証的に評価した。我々の実験結果は i)UQ手法の有効性はタスクタイプや生成設定に敏感である。 (ii)コンセンサスに基づく方法,型付きDegとEigVは,他のUQアプローチよりも一貫して優れています。 (3) LLMの不確実性に対する経験的スケーリング法則を示唆し, モデルスケールは低い不確実性推定値と相関する。この研究は理論的起源と実践的展開のギャップを埋め、LLMアプリケーションの不確実性を体系的に定量化する汎用的な診断ツールを提供する。

関連論文リスト

Walking Through Uncertainty: An Empirical Study of Uncertainty Estimation for Audio-Aware Large Language Models [54.041320081289996]
音声対応大言語モデル(ALLM)における不確実性推定に関する最初の系統的研究について述べる。予測エントロピー、長さ正規化エントロピー、意味エントロピー、個別意味エントロピー、P(True)を含む5つの代表的な手法をベンチマークする。まず、意味レベルと検証ベースの手法は、一般的な音声推論ベンチマークにおけるトークンレベルベースラインを一貫して上回ります。
論文参考訳（メタデータ） (2026-04-28T12:56:22Z)
The Illusion of Certainty: Uncertainty quantification for LLMs fails under ambiguity [48.899855816199484]
そこで本研究では,第1の曖昧な質問応答(QA)データセットであるMAQA*とAmbigQA*を紹介する。予測分布とアンサンブルに基づく推定器は、あいまいさの下では基本的に限定的であることを示す。
論文参考訳（メタデータ） (2025-11-06T14:46:35Z)
ESI: Epistemic Uncertainty Quantification via Semantic-preserving Intervention for Large Language Models [23.44710972442814]
不確実性定量化(UQ)はモデルの信頼性を向上させるための有望なアプローチであるが、Large Language Models(LLM)の不確実性は自明ではない。本稿では,意味保存介入前後のモデル出力の変動を計測する新しいグレイボックス不確実性定量化手法を提案する。
論文参考訳（メタデータ） (2025-10-15T02:46:43Z)
Uncertainty Quantification for Hallucination Detection in Large Language Models: Foundations, Methodology, and Future Directions [28.64896454455385]
大規模言語モデル (LLMs) は、もっともらしいが事実的に誤りな出力を生成する幻覚の傾向にある。不確実性定量化(UQ)は、この問題に対処する中心的な研究方向として現れている。幻覚検出におけるUQの役割について検討し、不確実性の定量化が信頼できない世代を識別するメカニズムを提供する。
論文参考訳（メタデータ） (2025-10-14T00:49:04Z)
Addressing Pitfalls in the Evaluation of Uncertainty Estimation Methods for Natural Language Generation [20.726685669562496]
幻覚は、大きな言語モデル(LLM)の信頼性を損なう一般的な問題である。近年の研究では、LLMの予測的不確実性によって生じる幻覚のサブセット、すなわち confabulations が特定されている。衝突を検出するため,自然言語生成における予測不確かさを推定する様々な手法が開発されている。
論文参考訳（メタデータ） (2025-10-02T17:54:09Z)
TokUR: Token-Level Uncertainty Estimation for Large Language Model Reasoning [27.449948943467163]
token-level Uncertainty Estimation framework for Reasoning (TokUR)を提案する。 TokURは、大規模言語モデルにおいて、数学的推論における応答を自己評価し、自己改善することを可能にする。様々な難易度を持つ数学的推論データセットの実験により、TokURは答えの正しさとモデルロバストネスと強い相関を示すことが示された。
論文参考訳（メタデータ） (2025-05-16T22:47:32Z)
Uncertainty Quantification and Confidence Calibration in Large Language Models: A Survey [11.737403011836532]
LLM(Large Language Models)は、医療、法律、交通といった高度な分野において、テキスト生成、推論、意思決定に優れる。不確実性定量化(UQ)は、アウトプットの信頼度を推定することで信頼性を高め、リスク軽減と選択的予測を可能にする。計算効率と不確実性次元に基づいてUQ手法を分類する新しい分類法を提案する。
論文参考訳（メタデータ） (2025-03-20T05:04:29Z)
Uncertainty Quantification for LLMs through Minimum Bayes Risk: Bridging Confidence and Consistency [66.96286531087549]
大規模言語モデル(LLM)のための不確実性定量化(UQ)手法は、様々なアプローチを含んでいる。本稿では,モデル信頼度と出力整合性を統合する新しい手法を提案する。我々は,質問応答,抽象要約,機械翻訳など,様々なタスクに対するアプローチを評価する。
論文参考訳（メタデータ） (2025-02-07T14:30:12Z)
CLUE: Concept-Level Uncertainty Estimation for Large Language Models [49.92690111618016]
大規模言語モデル(LLM)のための概念レベル不確実性推定のための新しいフレームワークを提案する。 LLMを利用して、出力シーケンスを概念レベルの表現に変換し、シーケンスを個別の概念に分解し、各概念の不確かさを個別に測定する。我々は,文レベルの不確実性と比較して,CLUEがより解釈可能な不確実性推定結果を提供できることを示す実験を行った。
論文参考訳（メタデータ） (2024-09-04T18:27:12Z)
Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
論文参考訳（メタデータ） (2024-08-20T09:42:26Z)
Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
不確実性定量化は機械学習アプリケーションにおいて重要な要素である。最新のUQベースラインの集合を実装した新しいベンチマークを導入する。我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
論文参考訳（メタデータ） (2024-06-21T20:06:31Z)
Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-05T16:35:30Z)
SPUQ: Perturbation-Based Uncertainty Quantification for Large Language Models [9.817185255633758]
大規模言語モデル(LLM)がますます普及し、顕著なテキスト生成機能を提供している。プレッシャーの課題は、自信を持って間違った予測をする傾向にある。本稿では,浮腫とてんかんの両不確実性に対処するために,新しいUQ法を提案する。その結果,モデルキャリブレーションは大幅に改善し,予測誤差(ECE)は平均50%減少した。
論文参考訳（メタデータ） (2024-03-04T21:55:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。