論文の概要: Improving MC-Dropout Uncertainty Estimates with Calibration Error-based Optimization

• arxiv url: http://arxiv.org/abs/2110.03260v1
• Date: Thu, 7 Oct 2021 08:31:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 16:00:57.508049
• Title: Improving MC-Dropout Uncertainty Estimates with Calibration Error-based Optimization
• Title（参考訳）: 校正誤差に基づく最適化によるmc-dropout不確かさ推定の改善
• Authors: Afshar Shamsi, Hamzeh Asgharnezhad, Moloud Abdar, AmirReza Tajally, Abbas Khosravi, Saeid Nahavandi, and Henry Leung
• Abstract要約: クロスエントロピーと予測エラー(ECE)と予測エントロピー(PE)を組み合わせた2つの新しい損失関数を提案する。 その結果,モデル全体の性能を犠牲にすることなく,不確かさ推定の分布と誤予測との重なりを最小化するハイブリッド損失関数の大きな影響が確認された。
• 参考スコア（独自算出の注目度）: 18.22429945073576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Uncertainty quantification of machine learning and deep learning methods plays an important role in enhancing trust to the obtained result. In recent years, a numerous number of uncertainty quantification methods have been introduced. Monte Carlo dropout (MC-Dropout) is one of the most well-known techniques to quantify uncertainty in deep learning methods. In this study, we propose two new loss functions by combining cross entropy with Expected Calibration Error (ECE) and Predictive Entropy (PE). The obtained results clearly show that the new proposed loss functions lead to having a calibrated MC-Dropout method. Our results confirmed the great impact of the new hybrid loss functions for minimising the overlap between the distributions of uncertainty estimates for correct and incorrect predictions without sacrificing the model's overall performance.
• Abstract（参考訳）: 機械学習とディープラーニング手法の不確かさの定量化は、得られた結果に対する信頼を高める上で重要な役割を果たす。 近年,多くの不確実性定量化手法が導入されている。 モンテカルロ・ドロップアウト(MC-Dropout)は、ディープラーニング手法における不確実性を定量化する最もよく知られた手法の1つである。 本研究では,クロスエントロピーと予測校正誤差(ECE)と予測エントロピー(PE)を組み合わせた2つの新たな損失関数を提案する。 その結果, 新たに提案する損失関数がmc-dropout法を校正することが明らかとなった。 その結果,モデル全体の性能を犠牲にすることなく,不確かさ推定の分布と誤予測との重なりを最小化するハイブリッド損失関数の大きな影響が確認された。

関連論文リスト

• Rethinking Early Stopping: Refine, Then Calibrate [49.966899634962374]
  校正誤差と校正誤差は,訓練中に同時に最小化されないことを示す。 我々は,早期停止とハイパーパラメータチューニングのための新しい指標を導入し,トレーニング中の改善誤差を最小限に抑える。 本手法は,任意のアーキテクチャとシームレスに統合し,多様な分類タスクにおける性能を継続的に向上する。
  論文  参考訳（メタデータ） (2025-01-31T15:03:54Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Model-Based Uncertainty in Value Functions [89.31922008981735]
  MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。 従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:18:27Z)
• On Calibrated Model Uncertainty in Deep Learning [0.0]
  損失校正されたベイジアンフレームワークの近似推論を,ドロップウェイトに基づくベイジアンニューラルネットワークに拡張する。 損失校正された不確実性から得られる決定は、簡単な代替手段よりも、診断性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-06-15T20:16:32Z)
• On the Difficulty of Epistemic Uncertainty Quantification in Machine Learning: The Case of Direct Uncertainty Estimation through Loss Minimisation [8.298716599039501]
  不確かさの定量化は機械学習で注目を集めている。 後者は学習者の知識(知識の欠如)を指し、特に測定と定量化が難しいようである。 損失最小化は2次予測器では有効でないことを示す。
  論文  参考訳（メタデータ） (2022-03-11T17:26:05Z)
• Diffusion Tensor Estimation with Uncertainty Calibration [6.5085381751712506]
  本研究では,拡散テンソルを推定し,推定の不確実性を計算する深層学習手法を提案する。 データ依存の不確実性はネットワークによって直接計算され、損失減衰によって学習される。 提案手法によって計算された推定の不確実性は,モデルのバイアスを強調し,領域シフトを検出し,測定における雑音の強さを反映できることを示す。
  論文  参考訳（メタデータ） (2021-11-21T15:58:01Z)
• DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
  認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。 一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T23:50:35Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Calibration of Model Uncertainty for Dropout Variational Inference [1.8065361710947976]
  本稿では,モデルの不確実性を再検討するために,異なるロジットスケーリング手法を拡張し,変動予測をドロップアウトに拡張する。 実験の結果,ロジットスケーリングはUCEによる誤校正を著しく低減することがわかった。
  論文  参考訳（メタデータ） (2020-06-20T14:12:55Z)
• Learning to Predict Error for MRI Reconstruction [67.76632988696943]
  提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。 本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-02-13T15:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。