論文の概要: On Information-Theoretic Measures of Predictive Uncertainty

• arxiv url: http://arxiv.org/abs/2410.10786v2
• Date: Mon, 16 Jun 2025 10:48:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:44.983947
• Title: On Information-Theoretic Measures of Predictive Uncertainty
• Title（参考訳）: 予測不確かさの情報理論について
• Authors: Kajetan Schweighofer, Lukas Aichberger, Mykyta Ielanskyi, Sepp Hochreiter,
• Abstract要約: その重要性にもかかわらず、予測の不確実性の最良の定量化方法に関する普遍的な合意はない。 提案手法は, 予測の不確かさを, (I) 予測モデル (II) 真の予測分布の近似の2つの要因により分類する。 我々は、これらの対策を広範囲にわたるタスクにわたって広範囲に評価し、ある対策が優れている条件を特定した。
• 参考スコア（独自算出の注目度）: 5.8034373350518775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliable estimation of predictive uncertainty is crucial for machine learning applications, particularly in high-stakes scenarios where hedging against risks is essential. Despite its significance, there is no universal agreement on how to best quantify predictive uncertainty. In this work, we revisit core concepts to propose a framework for information-theoretic measures of predictive uncertainty. Our proposed framework categorizes predictive uncertainty measures according to two factors: (I) The predicting model (II) The approximation of the true predictive distribution. Examining all possible combinations of these two factors, we derive a set of predictive uncertainty measures that includes both known and newly introduced ones. We extensively evaluate these measures across a broad set of tasks, identifying conditions under which certain measures excel. Our findings show the importance of aligning the choice of uncertainty measure with the predicting model on in-distribution (ID) data, the limitations of epistemic uncertainty measures for out-of-distribution (OOD) data, and that the disentanglement between measures varies substantially between ID and OOD data. Together, these insights provide a more comprehensive understanding of predictive uncertainty measures, revealing their implicit assumptions and relationships.
• Abstract（参考訳）: 予測の不確実性の信頼性の高い推定は、マシンラーニングアプリケーション、特にリスクに対するヘッジが不可欠である高度なシナリオにおいて不可欠である。 その重要性にもかかわらず、予測の不確実性の最良の定量化方法に関する普遍的な合意はない。 本研究では,予測の不確実性に関する情報理論の枠組みを提案するために,コア概念を再考する。 提案手法は, 予測の不確かさを, (I) 予測モデル (II) 真の予測分布の近似の2つの要因により分類する。 これら2つの要因のすべての組み合わせを調べることで、既知のものと新しく導入されたものの両方を含む予測的不確実性対策のセットを導出する。 我々は、これらの対策を広範囲にわたるタスクにわたって広範囲に評価し、ある対策が優れている条件を特定した。 本研究は,IDデータにおける不確実性指標の選択を予測モデルと整合させることの重要性,OODデータに対する疫学的不確実性尺度の限界,およびIDデータとOODデータ間の不整合が著しく異なることを示す。 これらの洞察は、予測の不確実性尺度をより包括的に理解し、その暗黙の仮定と関係を明らかにする。

関連論文リスト

• SConU: Selective Conformal Uncertainty in Large Language Models [59.25881667640868]
  SconU(Selective Conformal Uncertainity)と呼ばれる新しいアプローチを提案する。 我々は,特定の管理可能なリスクレベルで設定されたキャリブレーションの不確実性分布から,与えられたサンプルが逸脱するかどうかを決定するのに役立つ2つの共形p値を開発する。 我々のアプローチは、単一ドメインと学際的コンテキストの両方にわたる誤発見率の厳密な管理を促進するだけでなく、予測の効率を高める。
  論文  参考訳（メタデータ） (2025-04-19T03:01:45Z)
• From Risk to Uncertainty: Generating Predictive Uncertainty Measures via Bayesian Estimation [5.355925496689674]
  私たちは、異なる予測の不確実性対策を作成できるフレームワークを構築します。 本手法は,分布外および誤分類インスタンスの検出において,その性能を評価することにより,画像データセット上での検証を行う。
  論文  参考訳（メタデータ） (2024-02-16T14:40:22Z)
• Second-Order Uncertainty Quantification: Variance-Based Measures [2.3999111269325266]
  本稿では,分類問題における二階分布に基づく不確かさの定量化に分散に基づく新しい手法を提案する。 この尺度の特徴は、クラスベースレベルでの不確実性を推論する能力であり、不確実な意思決定が必要な状況において有用である。
  論文  参考訳（メタデータ） (2023-12-30T16:30:52Z)
• Second-Order Uncertainty Quantification: A Distance-Based Approach [11.539320505465149]
  本稿では,2次分布に基づく予測不確実性に対する有意義な不確実性尺度が従うべきという形式的基準を提案する。 これらの基準を考慮に入れた不確実性対策を開発するための一般的な枠組みを提供し、ワッサーシュタイン距離に基づくインスタンス化を提供する。
  論文  参考訳（メタデータ） (2023-12-02T01:21:41Z)
• Introducing an Improved Information-Theoretic Measure of Predictive Uncertainty [6.3398383724486544]
  予測の不確実性は、ベイズ平均(BMA)予測分布のエントロピーによってよく測定される。 これらの制限を克服するために理論的に根ざした尺度を導入する。 提案手法は, 制御された合成タスクにおいて, より合理的に振る舞う。
  論文  参考訳（メタデータ） (2023-11-14T16:55:12Z)
• Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
  本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。 この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
  論文  参考訳（メタデータ） (2023-08-03T12:43:21Z)
• Gradient-based Uncertainty Attribution for Explainable Bayesian Deep Learning [38.34033824352067]
  ディープラーニングモデルによる予測は、データ摂動、敵攻撃、アウト・オブ・ディストリビューション・インプットの傾向が強い。 本稿では,正確な不確実性定量化を行うための説明可能かつ実用的なベイズ深層学習法を提案する。
  論文  参考訳（メタデータ） (2023-04-10T19:14:15Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
  認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。 一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T23:50:35Z)
• The Aleatoric Uncertainty Estimation Using a Separate Formulation with Virtual Residuals [51.71066839337174]
  既存の手法では、ターゲット推定における誤差を定量化できるが、過小評価する傾向がある。 本稿では,信号とその不確かさを推定するための新たな分離可能な定式化を提案し,オーバーフィッティングの影響を回避した。 提案手法は信号および不確実性推定のための最先端技術より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-03T12:11:27Z)
• Learning to Predict Error for MRI Reconstruction [67.76632988696943]
  提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。 本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-02-13T15:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。