論文の概要: Variational Uncertainty Decomposition for In-Context Learning

• arxiv url: http://arxiv.org/abs/2509.02327v2
• Date: Wed, 03 Sep 2025 10:56:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:04.048366
• Title: Variational Uncertainty Decomposition for In-Context Learning
• Title（参考訳）: 文脈内学習のための変分不確かさ分解
• Authors: I. Shavindra Jayasekera, Jacob Si, Filippo Valdettaro, Wenlong Chen, A. Aldo Faisal, Yingzhen Li,
• Abstract要約: インコンテキスト学習のための変分不確実性分解フレームワークを提案する。 補助的なクエリをプローブとして最適化し、文脈内学習手順のアレラトリックな不確実性に対する上限を求める。
• 参考スコア（独自算出の注目度）: 16.986925734554447
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) gain popularity in conducting prediction tasks in-context, understanding the sources of uncertainty in in-context learning becomes essential to ensuring reliability. The recent hypothesis of in-context learning performing predictive Bayesian inference opens the avenue for Bayesian uncertainty estimation, particularly for decomposing uncertainty into epistemic uncertainty due to lack of in-context data and aleatoric uncertainty inherent in the in-context prediction task. However, the decomposition idea remains under-explored due to the intractability of the latent parameter posterior from the underlying Bayesian model. In this work, we introduce a variational uncertainty decomposition framework for in-context learning without explicitly sampling from the latent parameter posterior, by optimising auxiliary queries as probes to obtain an upper bound to the aleatoric uncertainty of an LLM's in-context learning procedure, which also induces a lower bound to the epistemic uncertainty. Through experiments on synthetic and real-world tasks, we show quantitatively and qualitatively that the decomposed uncertainties obtained from our method exhibit desirable properties of epistemic and aleatoric uncertainty.
• Abstract（参考訳）: 大規模言語モデル(LLM)がコンテキスト内予測タスクの実行において普及するにつれて、コンテキスト内学習における不確実性の原因を理解することが信頼性を確保する上で不可欠となる。 近年の文脈内学習における予測ベイズ推論の仮説はベイズ不確実性推定の道を開き、特に文脈内データの欠如と文脈内予測タスクに固有のアレタリック不確実性により、不確実性はてんかん不確実性に分解する。 しかし、分解のアイデアは、基礎となるベイズモデルから潜在パラメータの後方への引き込み性のために、まだ未解明のままである。 本研究では,LLMのテキスト内学習手順のアレター的不確実性に対する上限を求めるために,補助的クエリをプローブとして最適化することにより,遅延パラメータ後部から明示的にサンプリングすることなく,文脈内学習のための変分不確実性分解フレームワークを導入する。 合成および実世界の課題の実験を通じて,本手法から得られた分解された不確実性は,てんかんおよび失神性不確実性の望ましい性質を示すことを定量的に定性的に示す。

関連論文リスト

• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Evidential uncertainty sampling for active learning [4.271684331748043]
  アクティブラーニングにおける最近の研究は、モデル不確実性を再現可能で既約の不確実性に分解することに焦点を当てている。 本稿では,観測への依存を排除しつつ,計算過程を簡素化することを目的とする。
  論文  参考訳（メタデータ） (2023-09-21T21:26:50Z)
• Integrating Uncertainty into Neural Network-based Speech Enhancement [27.868722093985006]
  時間周波数領域における監視されたマスキングアプローチは、ディープニューラルネットワークを使用して乗法マスクを推定し、クリーンな音声を抽出することを目的としている。 これにより、信頼性の保証や尺度を使わずに、各入力に対する単一の見積もりが導かれる。 クリーン音声推定における不確実性モデリングの利点について検討する。
  論文  参考訳（メタデータ） (2023-05-15T15:55:12Z)
• Model-Based Uncertainty in Value Functions [89.31922008981735]
  MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。 従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:18:27Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
  認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。 一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T23:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。