論文の概要: Uncertainty Estimates of Predictions via a General Bias-Variance Decomposition

• arxiv url: http://arxiv.org/abs/2210.12256v3
• Date: Thu, 20 Apr 2023 21:01:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-24 17:59:33.626254
• Title: Uncertainty Estimates of Predictions via a General Bias-Variance Decomposition
• Title（参考訳）: 一般バイアス分散分解による予測の不確かさ推定
• Authors: Sebastian G. Gruber, Florian Buettner
• Abstract要約: 本稿では,適切なスコアに対するバイアス分散分解を導入し,分散項としてブレグマン情報を導出する。 モデルアンサンブルや信頼領域を含む下流タスクにおけるこの分解の実践的妥当性を示す。
• 参考スコア（独自算出の注目度）: 7.811916700683125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliably estimating the uncertainty of a prediction throughout the model lifecycle is crucial in many safety-critical applications. The most common way to measure this uncertainty is via the predicted confidence. While this tends to work well for in-domain samples, these estimates are unreliable under domain drift and restricted to classification. Alternatively, proper scores can be used for most predictive tasks but a bias-variance decomposition for model uncertainty does not exist in the current literature. In this work we introduce a general bias-variance decomposition for proper scores, giving rise to the Bregman Information as the variance term. We discover how exponential families and the classification log-likelihood are special cases and provide novel formulations. Surprisingly, we can express the classification case purely in the logit space. We showcase the practical relevance of this decomposition on several downstream tasks, including model ensembles and confidence regions. Further, we demonstrate how different approximations of the instance-level Bregman Information allow reliable out-of-distribution detection for all degrees of domain drift.
• Abstract（参考訳）: モデルライフサイクル全体を通して予測の不確実性を確実に推定することは、多くの安全クリティカルなアプリケーションにおいて重要である。 この不確実性を測定する最も一般的な方法は、予測された信頼性である。 これはドメイン内のサンプルではうまく機能するが、これらの推定はドメインドリフトの下で信頼性が低く、分類に制限される。 あるいは、ほとんどの予測タスクで適切なスコアを使うことができるが、モデルの不確かさに対するバイアス分散分解は現在の文献には存在しない。 本稿では, 適切なスコアに対する一般的なバイアス分散分解を導入し, 分散項としてブレグマン情報を導出する。 指数関数族と分類ログの類似度が特別な場合であることを発見し,新しい定式化を提供する。 驚くべきことに、分類ケースを純粋にlogit空間で表現できる。 モデルアンサンブルや信頼領域を含む下流タスクにおけるこの分解の実践的妥当性を示す。 さらに、インスタンスレベルのBregman Informationの異なる近似が、すべてのドメインドリフトの信頼性の高いアウト・オブ・ディストリビューション検出を可能にすることを示す。

関連論文リスト

• Evaluating AI systems under uncertain ground truth: a case study in dermatology [44.80772162289557]
  本稿では,アノテーションの不確実性を測定するための指標を提案し,評価のための不確実性調整指標を提案する。 本稿では,本フレームワークを皮膚条件分類に応用した症例スタディとして,アノテーションを診断の形で提供した画像について述べる。
  論文  参考訳（メタデータ） (2023-07-05T10:33:45Z)
• How Reliable is Your Regression Model's Uncertainty Under Real-World Distribution Shifts? [46.05502630457458]
  本研究では,異なるタイプの分散シフトを伴う8つの画像ベース回帰データセットのベンチマークを提案する。 分散シフトがない場合、メソッドは十分に校正されているが、ベンチマークデータセットの多くに非常に自信が持たれていることが分かっています。
  論文  参考訳（メタデータ） (2023-02-07T18:54:39Z)
• Confidence and Dispersity Speak: Characterising Prediction Matrix for Unsupervised Accuracy Estimation [51.809741427975105]
  この研究は、ラベルを使わずに、分散シフト下でのモデルの性能を評価することを目的としている。 我々は、両方の特性を特徴付けるのに有効であることが示されている核規範を用いる。 核の基準は既存の手法よりも正確で堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T13:30:48Z)
• A Statistical Model for Predicting Generalization in Few-Shot Classification [6.158812834002346]
  一般化誤差を予測するために,特徴分布のガウスモデルを導入する。 提案手法は, 相互検証戦略の離脱など, 代替案よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-13T10:21:15Z)
• The Implicit Delta Method [61.36121543728134]
  本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。 有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T19:34:17Z)
• Uncertainty Estimation for Multi-view Data: The Power of Seeing the Whole Picture [5.868139834982011]
  ニューラルネットワークを現実世界のアプリケーションで信頼できるものにするためには、不確実性推定が不可欠である。 そこで本研究では,不確実性評価と領域外サンプル検出のための新しい多視点分類フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T04:47:51Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware Regression [91.3373131262391]
  不確かさが唯一の確実性である。 伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。 現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
  論文  参考訳（メタデータ） (2021-03-25T06:56:09Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。