論文の概要: Quantifying Aleatoric Uncertainty of In-Context Learning for Robust Measure of LLM Prediction Confidence
- arxiv url: http://arxiv.org/abs/2606.19353v1
- Date: Tue, 28 Apr 2026 09:47:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:12.922975
- Title: Quantifying Aleatoric Uncertainty of In-Context Learning for Robust Measure of LLM Prediction Confidence
- Title（参考訳）: LLM予測信頼性のロバストな測定のための文脈内学習の不確かさの定量化
- Abstract要約: In-Context Learning (ICL)は、LCMがいくつかのデモから新しいタスクに適応できるようにするが、信頼性は依然として懸念されている。
我々は、ベイズ的視点とICLの機械的解釈可能性に基づく自己関数ベクトルの概念を導入する。
これらのベクトルは内部モデル表現を利用して、コンテキスト内プロンプトで学んだ潜在概念をモデル化する。
提案手法は,従来の代替手法よりも信頼性の高いLCM予測の不確かさを計測できることを示す。
- 参考スコア（独自算出の注目度）: 6.28866496877782
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In-Context Learning (ICL) allows LLMs to adapt to new tasks from a few demonstrations, but its reliability remains a concern: predictions are highly sensitive to both prompt design and the model's ability to understand the context, obscuring whether failures arise from data properties or model limitations. Uncertainty decomposition-separating aleatoric from epistemic sources-is particularly crucial in this setting, yet existing methods, designed for standard generation tasks, fail to capture the unique dynamics of ICL. To address this, we introduce a concept of self-function vectors, built upon Bayesian views and the mechanistic interpretability of ICL. These vectors leverage internal model representations to model the latent concept learned during in-context prompting, thereby enabling a direct estimation of aleatoric uncertainty within a Bayesian framework and circumventing the reliance on brittle input or decoding manipulations. Given the lack of established benchmarks and suitable evaluation protocols, we also propose the first and rigorous evaluation protocol, in which data is manipulated in controlled ways so as to quantify aleatoric uncertainty precisely and separately from epistemic uncertainty. With this new evaluation framework, initially grounded in synthetic tasks for conceptual development and subsequently extended to real-world datasets, we show that our proposed methodology can measure uncertainty of LLM predictions made under ICL more reliably than existing alternative methods. Moreover, we show it can be used as a practical tool for trustworthy-related applications, such as hallucination detection. Our findings pave a new direction for connecting the quantitative view of uncertainty with the mechanistic understanding of model behavior.
- Abstract（参考訳）: インコンテキストラーニング(ICL)は、LCMがいくつかのデモから新しいタスクに適応することを可能にするが、その信頼性は依然として懸念されている。
不確実性分解分離性アレタリックは、特にこの設定において重要であるが、既存のメソッドは標準生成タスク用に設計されており、ICLのユニークなダイナミクスを捉えていない。
これを解決するために,ベイズ的視点とICLの機械的解釈可能性に基づく自己関数ベクトルの概念を導入する。
これらのベクトルは内部モデル表現を利用して、コンテキスト内のプロンプトで学んだ潜在概念をモデル化し、ベイズフレームワーク内のアレラト的不確実性を直接推定し、不安定な入力やデコード操作への依存を回避する。
確立されたベンチマークと適切な評価プロトコルが欠如していることを踏まえて、データを制御された方法で操作し、てんかん不確実性から正確にかつ別々にアレタリック不確かさを定量化する、第一かつ厳密な評価プロトコルを提案する。
この新たな評価フレームワークは、当初概念開発のための合成タスクに基礎を置き、その後実世界のデータセットに拡張したものであり、提案手法は既存の代替手法よりも信頼性の高いICL下でのLSM予測の不確実性を測定することができることを示す。
また,幻覚検出などの信頼に値する応用のための実用的なツールとして利用できることを示す。
本研究は,不確かさの定量的見解とモデル行動の力学的理解を結合する新たな方向を示すものである。
関連論文リスト
- Possibilistic Predictive Uncertainty for Deep Learning [75.00607359322863]
Dirichlet-approximated possibilistic rear predictions (DAPPr)を紹介する。
DAPPrは可能性理論を利用した原則的なフレームワークである。
この射影近似戦略は閉形式解を用いた単純な訓練目標を与える。
論文 参考訳（メタデータ） (2026-05-01T12:14:01Z) - The Illusion of Certainty: Uncertainty quantification for LLMs fails under ambiguity [48.899855816199484]
そこで本研究では,第1の曖昧な質問応答(QA)データセットであるMAQA*とAmbigQA*を紹介する。
予測分布とアンサンブルに基づく推定器は、あいまいさの下では基本的に限定的であることを示す。
論文 参考訳（メタデータ） (2025-11-06T14:46:35Z) - Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models [24.72990207218907]
LLM(Large Language Models)は、畳み込み(confabulation)として知られる、流動的だが不正なコンテンツを生成する傾向にある。
本研究では、文脈内情報がモデル行動にどのように影響するか、LLMが信頼できない応答を識別できるかを検討する。
論文 参考訳（メタデータ） (2025-08-11T16:12:36Z) - From predictions to confidence intervals: an empirical study of conformal prediction methods for in-context learning [4.758643223243787]
本稿では,共形予測に基づく予測区間の構築手法を提案する。
従来のコンフォメーション法はモデルフィッティングの繰り返しによる計算コストが高いが,ICLを利用して1回のフォワードパスで信頼区間を効率よく生成する。
我々の実証分析は、リッジ回帰に基づくコンフォメーション手法に対するこのアプローチと比較し、インコンテキスト学習(CP with ICL)によるコンフォメーション予測が、堅牢でスケーラブルな不確実性推定を実現することを示す。
論文 参考訳（メタデータ） (2025-04-22T09:11:48Z) - Assessing Correctness in LLM-Based Code Generation via Uncertainty Estimation [0.0]
LLM生成符号の正確性のプロキシとして不確実性推定を検討する。
自然言語生成からコード生成領域への2つの最先端技術を適用する。
これらの手法を用いて計算した不確実性と正確性との間には強い相関関係があることが示唆された。
論文 参考訳（メタデータ） (2025-02-17T10:03:01Z) - A Review of Bayesian Uncertainty Quantification in Deep Probabilistic Image Segmentation [0.0]
本稿では,不確実性モデリングにおける基礎概念の統合とコンテキスト化について述べる。
空間集合における強い仮定や標準ベンチマークの欠如といった課題を特定する。
深層学習における不確実性認識のセグメンテーションを進めるための方向性を提案する。
論文 参考訳（メタデータ） (2024-11-25T13:26:09Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳（メタデータ） (2023-11-15T05:58:35Z) - Learning Uncertainty For Safety-Oriented Semantic Segmentation In
Autonomous Driving [77.39239190539871]
自律運転における安全クリティカル画像セグメンテーションを実現するために、不確実性推定をどのように活用できるかを示す。
相似性関数によって測定された不一致予測に基づく新しい不確実性尺度を導入する。
本研究では,提案手法が競合手法よりも推論時間において計算集約性が低いことを示す。
論文 参考訳（メタデータ） (2021-05-28T09:23:05Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳（メタデータ） (2020-11-24T19:52:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。