論文の概要: Black-Box Uncertainty Quantification for Large Language Models via Ensemble-of-Ensembles
- arxiv url: http://arxiv.org/abs/2611.18453v1
- Date: Fri, 13 Nov 2026 17:26:39 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:22:48.387369
- Title: Black-Box Uncertainty Quantification for Large Language Models via Ensemble-of-Ensembles
- Title(参考訳): アンサンブルを用いた大規模言語モデルのブラックボックス不確実性定量化
- Abstract要約: ブラックボックス法とアレタリック/エピステミック不確実性推定とのギャップを埋める2レベルアンサンブルを導入する。
我々の推定器は、強いホワイトボックスベースラインと競合し、一致した世代予算では、エラーランキングの主要なブラックボックスメソッドと一致します。
制御された介入は、AUとEUが異なる行動可能な障害源に対して選択的に反応することを示している。
- 参考スコア(独自算出の注目度): 35.66521614871944
- License:
- Abstract: Reliable use of large language models (LLMs) requires uncertainty estimates that separate ambiguity intrinsic to a prompt from genuine knowledge gaps. Bayesian and deep-ensemble methods deliver this aleatoric/epistemic decomposition in principle, but are computationally prohibitive at LLM scale and require white-box access. Existing black-box methods, in contrast, summarize to a single scalar that cannot make the distinction. We introduce a two-level ensemble that bridges this gap. Stochastic decoding of a fixed prompt forms the inner ensemble; meaning-preserving semantic perturbations of the prompt form the outer ensemble. Variability is measured in a continuous embedding space, and the law of total covariance gives an exact within-/between-perturbation decomposition to estimate aleatoric and epistemic uncertainty (AU/EU); it requires only black-box sampling access. On top of this estimator, we contribute three theoretical results that ground the framework: (i) a finite-sample bias identity for nested Monte Carlo with a closed-form bias-corrected epistemic estimator; (ii) a Bayesian bridge bounding the gap between perturbation-population AU/EU and Bayesian targets; and (iii) a separation result identifying a class of failure modes that any consistency-only black-box method provably misses while perturbation-based EU detects. Across five short QA benchmarks and four instruction-tuned LLMs spanning two families and two scales, our estimator is competitive with strong white-box baselines, and at a matched generation budget it matches leading black-box methods on error ranking while decomposing AU and EU; controlled paired interventions show that AU and EU respond selectively to distinct, actionable sources of failure: prompt ambiguity and model knowledge gaps; and a long-form pilot on the NQ long-answer split shows the framework extends to claim-level factuality without retraining.
- Abstract(参考訳): 大規模言語モデル(LLMs)の信頼性の高い使用には、真の知識ギャップからのプロンプトに固有の曖昧さを区別する不確実性推定が必要である。
ベイズ法とディープアンサンブル法は、原理的にはこのアレタリック/エピステミック分解をもたらすが、LLMスケールでは計算が禁止され、ホワイトボックスアクセスを必要とする。
対照的に既存のブラックボックス法は、区別できない単一のスカラーを要約している。
このギャップを埋める2レベルアンサンブルを導入します。
固定されたプロンプトの確率的復号化は内部アンサンブルを形成し、プロンプトの意味的な摂動を保存して外部アンサンブルを形成する。
変動性は連続的な埋め込み空間で測定され、全共分散の法則は正確な内/間摂動分解を与えて、動脈とてんかんの不確実性(AU/EU)を推定する。
この推定器の上に、フレームワークの基礎となる3つの理論的結果を提供する。
i) 閉じた形のバイアス補正されたてんかん推定器を有するネストしたモンテカルロに対する有限サンプルバイアス恒等式
(二 摂動人口AU/EUとベイズ目標とのギャップを埋めるベイズ橋
三 摂動に基づくEUが検出している間に、整合性のみのブラックボックス法が確実に見逃すような障害モードのクラスを特定する分離結果。
5つの短いQAベンチマークと2つのファミリーと2つのスケールにまたがる4つの命令チューニングLDM、我々の推定器は強力なホワイトボックスベースラインと競争力があり、一致した世代予算では、AUとEUを分解しながらエラーランキングの上位のブラックボックスメソッドと競合する。
関連論文リスト
- Multimodal Continuous Reasoning via Asymmetric Mutual Variational Learning [31.446829707182445]
連続潜時推論は、マルチモーダルクエリと最終回答をブリッジする暗黙の推論経路を発見することを目的としている。
これは、厳格な列車干渉ミスマッチ(英語版)を導入する: 訓練時間後部(英語版)は、接地真実の答えに条件付けられ、答えに依存したショートカットを利用することができる。
標準偏差トレーニングでは、テスト時に入手できない情報にアクセスできない後部を模倣するために、推論時間を前倒しし、パフォーマンスが低下する。
本稿では,このミスマッチを双方向の校正目標を用いて解決するフレームワークである非対称多変量学習(AMVL)を提案する。
論文 参考訳(メタデータ) (2026-07-01T05:29:02Z) - Dual-Branch Cross-Projection Debiasing through Diffusion-based Disentanglement [66.67463557274358]
バイアス付きデータセットに基づいてトレーニングされた基礎モデルは、しばしばターゲットラベルと非因果属性の間の急激な相関に依存する。
信頼誘導概念マイニング(CBCM:Confidence-guided Concept Mining)を導入し,属性アノテーションを使わずに信頼性の高いスプリアス属性を同定する。
本稿では,目標と突発的な表現を2つのブランチに分離するプロンプトチューニングフレームワークであるDual-branch Cross-projection Debiasing (DCD)を提案する。
論文 参考訳(メタデータ) (2026-06-23T05:28:47Z) - A Semantic-Sampling Framework for Evaluating Calibration in Open-Ended Question Answering [19.55210880950831]
予測されたモデルの信頼度がその経験的精度と一致しているかを測り、大規模言語モデル(LLM)の信頼性デプロイメントの中心となる。
オープンエンド質問応答(QA)のための校正評価フレームワークSem-ECEを紹介する。
フレームワーク内の2つの推定器について検討する。同じサンプルの自己整合性スコアであるSem$-ECEと、自信評価から回答の選択を分離する保留変数であるSem$-ECEである。
論文 参考訳(メタデータ) (2026-05-08T19:53:49Z) - Complementing Self-Consistency with Cross-Model Disagreement for Uncertainty Quantification [41.04503562937318]
大規模言語モデル(LLM)は、しばしば自信を持って不正確な応答を生成する。
AU(aleatoric uncertainty)を推定するための自己整合性は、モデルが過信されているときに崩壊する。
AUが低い場合, モデル間のセマンティックな不一致が, 正確な解に対して高いことを示す。
論文 参考訳(メタデータ) (2026-04-18T19:00:27Z) - Efficient semantic uncertainty quantification in language models via diversity-steered sampling [46.23327887393273]
本稿では,デコード中に意味的に冗長な出力を回避できるダイバーシティステアリング・サンプリング手法を提案する。
主要なアイデアは、モデルの提案分布に連続的な意味-類似性ペナルティを注入することである。
モジュラーであり、ベースLSMへの勾配アクセスを必要としないため、このフレームワークは不確実性評価のためのドロップインエンハンスメントとして機能することを約束している。
論文 参考訳(メタデータ) (2025-10-24T10:06:21Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-05T16:35:30Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳(メタデータ) (2023-11-15T05:58:35Z) - Composed Image Retrieval with Text Feedback via Multi-grained
Uncertainty Regularization [73.04187954213471]
粗い検索ときめ細かい検索を同時にモデル化する統合学習手法を提案する。
提案手法は、強いベースラインに対して+4.03%、+3.38%、+2.40%のRecall@50精度を達成した。
論文 参考訳(メタデータ) (2022-11-14T14:25:40Z) - Diverse, Global and Amortised Counterfactual Explanations for
Uncertainty Estimates [31.241489953967694]
このような集合の多様性を研究し、多くの CLUE が冗長であることを示す。
そこで我々は,不確実な入力の特定のグループに対する償却写像を学習する,GLobal AMortized CLUE (GLAM-CLUE) を提案する。
実験の結果,$delta$-CLUE,$nabla$-CLUE,およびGLAM-CLUEはすべて,CLUEの欠点に対処し,不確実性推定を実践者に有益に説明できることを示した。
論文 参考訳(メタデータ) (2021-12-05T18:27:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。