論文の概要: The Role of Ambiguity in Error Prediction via Uncertainty Quantification

• arxiv url: http://arxiv.org/abs/2606.02093v1
• Date: Mon, 01 Jun 2026 11:20:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:31.884843
• Title: The Role of Ambiguity in Error Prediction via Uncertainty Quantification
• Title（参考訳）: 不確実性定量化による誤り予測におけるあいまいさの役割
• Authors: Ieva Raminta Staliūnaitė, James Bishop, Andreas Vlachos,
• Abstract要約: 本稿では,UQ信号からの入力あいまいさを解消し,Large Language Models(LLMs)の誤り予測を改善する手法を提案する。 質問回答(QA)を6つのUQ指標を用いて実施し、UQ指標が複数の答えを持つ質問よりも曖昧なインスタンス上のエラーを予測可能であることを示す。
• 参考スコア（独自算出の注目度）: 6.973934615085226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The task of Error Prediction, namely predicting whether a model output is correct, is commonly tackled with Uncertainty Quantification (UQ). However, while uncertainty metrics capture when models lack knowledge or capacity to make a prediction, they also reflect aleatoric uncertainty, which is inherent in the model input and context. This paper presents a method for improving error prediction for Large Language Models (LLMs), by disentangling input ambiguity from UQ signal. We conduct experiments on the task of Question Answering (QA) with six UQ metrics and show that UQ metrics are more predictive of errors on unambiguous instances than on questions with multiple plausible answers. We use Gated Experts and Selective Prediction to incorporate gold and predicted ambiguity labels into the error prediction pipeline. We find that ambiguity information improves error prediction scores across model families, training and evaluation paradigms, datasets (including allegedly unambiguous ones), and sources of aleatoric uncertainty, yielding improvements of over 10 points of PRR for individual UQ metrics on standard datasets.
• Abstract（参考訳）: 誤差予測(Error Prediction)のタスク、すなわちモデル出力が正しいかどうかを予測するタスクは、一般に不確実量化(Uncertainty Quantification, UQ)に対処される。 しかし、不確実性メトリクスは、モデルに予測を行う知識や能力が欠けているときに捉えられるが、それらはモデルの入力とコンテキストに固有のアレタリックな不確実性も反映している。 本稿では,UQ信号から入力のあいまいさを解消し,Large Language Models(LLMs)の誤り予測を改善する手法を提案する。 質問回答(QA)を6つのUQ指標を用いて実施し、UQ指標が複数の答えを持つ質問よりも曖昧なインスタンス上のエラーを予測可能であることを示す。 我々は、Gated ExpertsとSelective Predictionを使って、ゴールドと予測されたあいまいさラベルをエラー予測パイプラインに組み込む。 あいまいさ情報は、モデルファミリ、トレーニングおよび評価パラダイム、データセット(不明瞭とされるものを含む)、およびアレタリック不確実性の源間の誤差予測スコアを改善し、標準データセット上の個々のUQ指標に対するPRRの10ポイント以上の改善をもたらす。

関連論文リスト

• Uncertainty Quantification for Regression using Proper Scoring Rules [76.24649098854219]
  CRPS,対数,2乗誤差,2次スコアなど,適切なスコアリングルールに基づく回帰のための統一的UQフレームワークを提案する。 実測パラメトリックな仮定に基づく不確実性尺度に対する閉形式式を導出し、モデルのアンサンブルを用いてそれらを推定する方法を示す。 合成および実世界の回帰データセットに対する広範な評価は、信頼性の高いUQ尺度を選択するためのガイダンスを提供する。
  論文  参考訳（メタデータ） (2025-09-30T17:52:12Z)
• COPU: Conformal Prediction for Uncertainty Quantification in Natural Language Generation [14.461333001997449]
  大規模言語モデル(LLM)の性能評価には,自然言語生成のための不確実性定量化(UQ)が不可欠である。 提案手法は,候補出力に基底真理を明示的に付加し,ロジットスコアを用いて非整合性を測定する手法である。
  論文  参考訳（メタデータ） (2025-02-18T07:25:12Z)
• Evaluation of uncertainty estimations for Gaussian process regression based machine learning interatomic potentials [0.0]
  モデル誤差の定量化には機械学習原子間ポテンシャル(MLIP)の不確実性推定が不可欠である。 予測的GPR標準偏差やアンサンブルに基づく不確実性を含む,GPRに基づくMLIPの不確実性の評価を行った。
  論文  参考訳（メタデータ） (2024-10-27T10:06:09Z)
• Calibrated Large Language Models for Binary Question Answering [49.1574468325115]
  よく校正されたモデルは、その予測が正しい可能性を正確に反映する確率を生成するべきである。 本稿では、帰納的Venn-Abers予測器(IVAP)を用いて、バイナリラベルに対応する出力トークンに関連する確率をキャリブレーションする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T09:31:03Z)
• Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
  本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。 我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
  論文  参考訳（メタデータ） (2023-11-26T22:47:54Z)
• Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
  本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。 この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
  論文  参考訳（メタデータ） (2023-08-03T12:43:21Z)
• Towards Clear Expectations for Uncertainty Estimation [64.20262246029286]
  不確実性定量化(UQ)は、信頼できる機械学習(ML)を実現するために不可欠である ほとんどのUQ手法は、異なる不整合評価プロトコルに悩まされている。 この意見書は、これらの要件を5つの下流タスクを通して指定することで、新たな視点を提供する。
  論文  参考訳（メタデータ） (2022-07-27T07:50:57Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。