論文の概要: On Information-Theoretic Measures of Predictive Uncertainty

• arxiv url: http://arxiv.org/abs/2410.10786v1
• Date: Mon, 14 Oct 2024 17:52:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 19:34:54.160699
• Title: On Information-Theoretic Measures of Predictive Uncertainty
• Title（参考訳）: 予測不確かさの情報理論について
• Authors: Kajetan Schweighofer, Lukas Aichberger, Mykyta Ielanskyi, Sepp Hochreiter,
• Abstract要約: その重要性にも拘わらず、予測の不確実性の正しい測定に関するコンセンサスはいまだに解明されていない。 提案手法は, 予測の不確かさを, (I) 予測モデル (II) 真の予測分布の近似の2つの要因により分類する。 本研究では, 誤分類検出, 選択的予測, アウト・オブ・ディストリビューション検出など, 典型的な不確実性推定設定において, これらの指標を実証的に評価する。
• 参考スコア（独自算出の注目度）: 5.8034373350518775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliable estimation of predictive uncertainty is crucial for machine learning applications, particularly in high-stakes scenarios where hedging against risks is essential. Despite its significance, a consensus on the correct measurement of predictive uncertainty remains elusive. In this work, we return to first principles to develop a fundamental framework of information-theoretic predictive uncertainty measures. Our proposed framework categorizes predictive uncertainty measures according to two factors: (I) The predicting model (II) The approximation of the true predictive distribution. Examining all possible combinations of these two factors, we derive a set of predictive uncertainty measures that includes both known and newly introduced ones. We empirically evaluate these measures in typical uncertainty estimation settings, such as misclassification detection, selective prediction, and out-of-distribution detection. The results show that no single measure is universal, but the effectiveness depends on the specific setting. Thus, our work provides clarity about the suitability of predictive uncertainty measures by clarifying their implicit assumptions and relationships.
• Abstract（参考訳）: 予測の不確実性の信頼性の高い推定は、マシンラーニングアプリケーション、特にリスクに対するヘッジが不可欠である高度なシナリオにおいて不可欠である。 その重要性にも拘わらず、予測の不確実性の正しい測定に関するコンセンサスはいまだに解明されていない。 本研究は、情報理論予測の不確実性尺度の基本的な枠組みを開発するための第一原理に回帰する。 提案手法は, 予測の不確かさを, (I) 予測モデル (II) 真の予測分布の近似の2つの要因により分類する。 これら2つの要因の組合せを全て検討し、既知のものと新しく導入されたものの両方を含む予測の不確実性対策のセットを導出する。 本研究では, 誤分類検出, 選択的予測, アウト・オブ・ディストリビューション検出など, 典型的な不確実性推定設定において, これらの指標を実証的に評価する。 結果は、単一の測度は普遍的ではないが、有効性は特定の設定に依存することを示している。 したがって,本研究は,その暗黙の仮定と関係を明らかにすることによって,予測不確実性尺度の適合性を明らかにする。

関連論文リスト

• Second-Order Uncertainty Quantification: Variance-Based Measures [2.3999111269325266]
  本稿では,分類問題における二階分布に基づく不確かさの定量化に分散に基づく新しい手法を提案する。 この尺度の特徴は、クラスベースレベルでの不確実性を推論する能力であり、不確実な意思決定が必要な状況において有用である。
  論文  参考訳（メタデータ） (2023-12-30T16:30:52Z)
• Second-Order Uncertainty Quantification: A Distance-Based Approach [11.539320505465149]
  本稿では,2次分布に基づく予測不確実性に対する有意義な不確実性尺度が従うべきという形式的基準を提案する。 これらの基準を考慮に入れた不確実性対策を開発するための一般的な枠組みを提供し、ワッサーシュタイン距離に基づくインスタンス化を提供する。
  論文  参考訳（メタデータ） (2023-12-02T01:21:41Z)
• Introducing an Improved Information-Theoretic Measure of Predictive Uncertainty [6.3398383724486544]
  予測の不確実性は、ベイズ平均(BMA)予測分布のエントロピーによってよく測定される。 これらの制限を克服するために理論的に根ざした尺度を導入する。 提案手法は, 制御された合成タスクにおいて, より合理的に振る舞う。
  論文  参考訳（メタデータ） (2023-11-14T16:55:12Z)
• Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
  本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。 この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
  論文  参考訳（メタデータ） (2023-08-03T12:43:21Z)
• Gradient-based Uncertainty Attribution for Explainable Bayesian Deep Learning [38.34033824352067]
  ディープラーニングモデルによる予測は、データ摂動、敵攻撃、アウト・オブ・ディストリビューション・インプットの傾向が強い。 本稿では,正確な不確実性定量化を行うための説明可能かつ実用的なベイズ深層学習法を提案する。
  論文  参考訳（メタデータ） (2023-04-10T19:14:15Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
  認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。 一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T23:50:35Z)
• The Aleatoric Uncertainty Estimation Using a Separate Formulation with Virtual Residuals [51.71066839337174]
  既存の手法では、ターゲット推定における誤差を定量化できるが、過小評価する傾向がある。 本稿では,信号とその不確かさを推定するための新たな分離可能な定式化を提案し,オーバーフィッティングの影響を回避した。 提案手法は信号および不確実性推定のための最先端技術より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-03T12:11:27Z)
• Learning to Predict Error for MRI Reconstruction [67.76632988696943]
  提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。 本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-02-13T15:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。