論文の概要: Uncertainty Quantification with Proper Scoring Rules: Adjusting Measures to Prediction Tasks
- arxiv url: http://arxiv.org/abs/2505.22538v1
- Date: Wed, 28 May 2025 16:22:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-29 17:35:50.727046
- Title: Uncertainty Quantification with Proper Scoring Rules: Adjusting Measures to Prediction Tasks
- Title(参考訳): 適正なスコーリング規則による不確かさの定量化:予測課題に対する対策の調整
- Authors: Paul Hofman, Yusuf Sale, Eyke Hüllermeier,
- Abstract要約: 本研究では,(厳密な)適切なスコアリング規則,特定の種類の損失関数を,分散成分とエントロピー成分に分解して不確実性の尺度を提案する。
これは不確実性定量化のための柔軟なフレームワークをもたらし、異なる損失(スコアリングルール)でインスタンス化できる。
この柔軟性は確かに有利であることを示し、特に、選択予測のタスクを分析し、スコアリングルールがタスクの損失と理想的に一致することを示します。
- 参考スコア(独自算出の注目度): 19.221081896134567
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We address the problem of uncertainty quantification and propose measures of total, aleatoric, and epistemic uncertainty based on a known decomposition of (strictly) proper scoring rules, a specific type of loss function, into a divergence and an entropy component. This leads to a flexible framework for uncertainty quantification that can be instantiated with different losses (scoring rules), which makes it possible to tailor uncertainty quantification to the use case at hand. We show that this flexibility is indeed advantageous. In particular, we analyze the task of selective prediction and show that the scoring rule should ideally match the task loss. In addition, we perform experiments on two other common tasks. For out-of-distribution detection, our results confirm that a widely used measure of epistemic uncertainty, mutual information, performs best. Moreover, in the setting of active learning, our measure of epistemic uncertainty based on the zero-one-loss consistently outperforms other uncertainty measures.
- Abstract(参考訳): 本研究では、不確実性定量化の問題に対処し、(厳密な)適切なスコアリングルール、特定の種類の損失関数の既知の分解から、分散とエントロピー成分への分解に基づいて、総、アレタリック、およびてんかん不確実性の尺度を提案する。
これにより、不確実性定量化のための柔軟なフレームワークが、異なる損失(スコーリングルール)でインスタンス化され、手元にあるユースケースに不確実性定量化を調整できるようになる。
この柔軟性は確かに有利である。
特に、選択予測のタスクを分析し、スコアリングルールがタスク損失と理想的に一致すべきであることを示す。
また,他の2つの共通課題についても実験を行った。
アウト・オブ・ディストリビューション検出では,疫学的不確実性,相互情報などの指標が有効であることが確認された。
さらに,積極的学習の設定において,ゼロ・ワン・ロスに基づく疫学不確実性の尺度は,他の不確実性の尺度よりも一貫して優れていた。
関連論文リスト
- SConU: Selective Conformal Uncertainty in Large Language Models [59.25881667640868]
SconU(Selective Conformal Uncertainity)と呼ばれる新しいアプローチを提案する。
我々は,特定の管理可能なリスクレベルで設定されたキャリブレーションの不確実性分布から,与えられたサンプルが逸脱するかどうかを決定するのに役立つ2つの共形p値を開発する。
我々のアプローチは、単一ドメインと学際的コンテキストの両方にわたる誤発見率の厳密な管理を促進するだけでなく、予測の効率を高める。
論文 参考訳(メタデータ) (2025-04-19T03:01:45Z) - Probabilistic Modeling of Disparity Uncertainty for Robust and Efficient Stereo Matching [61.73532883992135]
本稿では,新しい不確実性を考慮したステレオマッチングフレームワークを提案する。
我々はベイズリスクを不確実性の測定として採用し、データを別々に見積もり、不確実性をモデル化する。
論文 参考訳(メタデータ) (2024-12-24T23:28:20Z) - On Information-Theoretic Measures of Predictive Uncertainty [5.8034373350518775]
その重要性にも拘わらず、予測の不確実性の正しい測定に関するコンセンサスはいまだに解明されていない。
提案手法は, 予測の不確かさを, (I) 予測モデル (II) 真の予測分布の近似の2つの要因により分類する。
本研究では, 誤分類検出, 選択的予測, アウト・オブ・ディストリビューション検出など, 典型的な不確実性推定設定において, これらの指標を実証的に評価する。
論文 参考訳(メタデータ) (2024-10-14T17:52:18Z) - Understanding Uncertainty Sampling [7.32527270949303]
不確実性サンプリングは、データサンプルのアノテーションを逐次クエリする一般的なアクティブラーニングアルゴリズムである。
使用済みの不確実性尺度と元の損失関数に依存する等価損失の概念を提案する。
ストリームベースとプールベースの両方の設定下で、不確実性サンプリングアルゴリズムに拘束される最初の一般化を提供する。
論文 参考訳(メタデータ) (2023-07-06T01:57:37Z) - Model-Based Uncertainty in Value Functions [89.31922008981735]
MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。
従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
論文 参考訳(メタデータ) (2023-02-24T09:18:27Z) - Bayesian autoencoders with uncertainty quantification: Towards
trustworthy anomaly detection [78.24964622317634]
本研究では, ベイズオートエンコーダ (BAEs) の定式化により, 全体の異常不確かさを定量化する。
不確実性の質を評価するために,不確実性の予測を拒否するオプションを追加して,異常を分類する作業を検討する。
本実験は,BAEと総異常不確かさが,ベンチマークデータセットと製造用実データセットのセットに与える影響を実証するものである。
論文 参考訳(メタデータ) (2022-02-25T12:20:04Z) - Dense Uncertainty Estimation via an Ensemble-based Conditional Latent
Variable Model [68.34559610536614]
我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。
そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。
以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
論文 参考訳(メタデータ) (2021-11-22T08:54:10Z) - DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。
一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
論文 参考訳(メタデータ) (2021-02-16T23:50:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。