論文の概要: The Peril of Popular Deep Learning Uncertainty Estimation Methods

• arxiv url: http://arxiv.org/abs/2112.05000v1
• Date: Thu, 9 Dec 2021 15:47:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-10 15:43:42.437363
• Title: The Peril of Popular Deep Learning Uncertainty Estimation Methods
• Title（参考訳）: 一般の深層学習の不確かさ推定手法の危険性
• Authors: Yehao Liu and Matteo Pagliardini and Tatjana Chavdarova and Sebastian U. Stich
• Abstract要約: あまりに高い不確実性推定は、実際には致命的な結果をもたらす可能性がある。 GP法は分布外(OOD)データに対して常に高い不確実性の推定値が得られることを示す。 我々は、BNNとMCDropoutのこの落とし穴が、現実世界のデータセットにも当てはまることを実証的に示す。
• 参考スコア（独自算出の注目度）: 26.898681809823444
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Uncertainty estimation (UE) techniques -- such as the Gaussian process (GP), Bayesian neural networks (BNN), Monte Carlo dropout (MCDropout) -- aim to improve the interpretability of machine learning models by assigning an estimated uncertainty value to each of their prediction outputs. However, since too high uncertainty estimates can have fatal consequences in practice, this paper analyzes the above techniques. Firstly, we show that GP methods always yield high uncertainty estimates on out of distribution (OOD) data. Secondly, we show on a 2D toy example that both BNNs and MCDropout do not give high uncertainty estimates on OOD samples. Finally, we show empirically that this pitfall of BNNs and MCDropout holds on real world datasets as well. Our insights (i) raise awareness for the more cautious use of currently popular UE methods in Deep Learning, (ii) encourage the development of UE methods that approximate GP-based methods -- instead of BNNs and MCDropout, and (iii) our empirical setups can be used for verifying the OOD performances of any other UE method. The source code is available at https://github.com/epfml/uncertainity-estimation.
• Abstract（参考訳）: ガウス過程(GP)、ベイジアンニューラルネットワーク(BNN)、モンテカルロドロップアウト(MCDropout)などの不確実性推定(UE)技術は、予測された不確実性値をそれぞれの予測出力に割り当てることで、機械学習モデルの解釈可能性を改善することを目指している。 しかし,不確実性評価が多すぎると致命的な結果が出るため,本論文は上記の手法を解析する。 まず,GP法は分布外(OOD)データに基づいて常に高い不確実性の推定値が得られることを示す。 第2に、BNNとMCDropoutの両者がOODサンプルに対して高い不確実性評価を与えていない2D玩具の例を示す。 最後に、BNNとMCDropoutのこの落とし穴が現実世界のデータセットにも当てはまることを実証的に示す。 私たちの洞察 (i)Deep Learningで現在普及しているUEメソッドのより慎重な使用に対する意識を高めること。 (II)BNNやMCDropoutの代わりにGPベースの手法を近似するUEメソッドの開発を奨励し、 3)実験的な設定は,他のUEメソッドのOOD性能を検証するのに利用できる。 ソースコードはhttps://github.com/epfml/uncertainity-estimationで入手できる。

関連論文リスト

• Uncertainty for Active Learning on Graphs [70.44714133412592]
  不確実性サンプリングは、機械学習モデルのデータ効率を改善することを目的とした、アクティブな学習戦略である。 予測の不確実性を超えた不確実性サンプリングをベンチマークし、他のアクティブラーニング戦略に対する大きなパフォーマンスギャップを強調します。 提案手法は,データ生成プロセスの観点から基幹的ベイズ不確実性推定法を開発し,不確実性サンプリングを最適クエリへ導く上での有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-02T16:50:47Z)
• Towards Robust and Interpretable EMG-based Hand Gesture Recognition using Deep Metric Meta Learning [37.21211404608413]
  本稿では,意味的かつ解釈可能な表現の作成を監督するために,EMG PRにおける深層メートル法メタラーニングへのシフトを提案する。 我々は、不正確な決定をよりよく拒否する頑健なクラス近接性に基づく信頼度推定器を導出する。
  論文  参考訳（メタデータ） (2024-04-17T23:37:50Z)
• Sample Complexity of Preference-Based Nonparametric Off-Policy Evaluation with Deep Networks [58.469818546042696]
  我々は、OPEのサンプル効率を人間の好みで研究し、その統計的保証を確立する。 ReLUネットワークのサイズを適切に選択することにより、マルコフ決定過程において任意の低次元多様体構造を活用できることが示される。
  論文  参考訳（メタデータ） (2023-10-16T16:27:06Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Uncertainty-Estimation with Normalized Logits for Out-of-Distribution Detection [35.539218522504605]
  UE-NL(Uncertainty-Estimation with Normalized Logits)は,OOD検出のための頑健な学習手法である。 UE-NLは、入力データの不確実性スコアを予測することにより、全てのIDサンプルを等しく扱う。 他の方法によってOODデータと誤認される可能性のあるIDデータを騒がせることは、より堅牢である。
  論文  参考訳（メタデータ） (2023-02-15T11:57:09Z)
• A Benchmark on Uncertainty Quantification for Deep Learning Prognostics [0.0]
  診断学的な深層学習のための不確実性定量化の分野における最新の発展のいくつかを評価する。 これには、ベイズニューラルネットワーク(BNN)の最先端の変分推論アルゴリズムや、モンテカルロ・ドロップアウト(MCD)、ディープアンサンブル(DE)、ヘテロセダスティックニューラルネットワーク(HNN)などの一般的な代替品が含まれる。 この手法の性能は、NASA NCMAPSSの航空機エンジン用データセットのサブセットで評価される。
  論文  参考訳（メタデータ） (2023-02-09T16:12:47Z)
• Improving Out-of-Distribution Detection via Epistemic Uncertainty Adversarial Training [29.4569172720654]
  我々は,ドロップアウトアンサンブルによって予測される不確実性の攻撃を組み込んだ,単純な対向訓練手法を開発した。 本手法は,OOD検出性能を標準データ上で向上させる(逆向きではない)とともに,ほぼランダムな推定性能から$geq 0.75$まで,標準化された部分AUCを改善する。
  論文  参考訳（メタデータ） (2022-09-05T14:32:19Z)
• On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
  決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-07-01T17:59:07Z)
• Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。 本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。 このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
  論文  参考訳（メタデータ） (2021-06-08T11:40:49Z)
• Probabilistic Neighbourhood Component Analysis: Sample Efficient Uncertainty Estimation in Deep Learning [25.8227937350516]
  トレーニングデータの量が少ない場合,最先端のBNNとDeep Ensembleモデルの不確実性推定能力は著しく低下することを示す。 サンプル効率の高い非パラメトリックkNN手法の確率的一般化を提案する。 我々のアプローチは、深いkNNがその予測において根底にある不確かさを正確に定量化することを可能にする。
  論文  参考訳（メタデータ） (2020-07-18T21:36:31Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。