論文の概要: Revisiting Confidence Estimation: Towards Reliable Failure Prediction

• arxiv url: http://arxiv.org/abs/2403.02886v1
• Date: Tue, 5 Mar 2024 11:44:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 15:10:01.184684
• Title: Revisiting Confidence Estimation: Towards Reliable Failure Prediction
• Title（参考訳）: 信頼度推定を再考する:信頼性の高い故障予測に向けて
• Authors: Fei Zhu, Xu-Yao Zhang, Zhen Cheng, Cheng-Lin Liu
• Abstract要約: 多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
• 参考スコア（独自算出の注目度）: 53.79160907725975
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliable confidence estimation is a challenging yet fundamental requirement in many risk-sensitive applications. However, modern deep neural networks are often overconfident for their incorrect predictions, i.e., misclassified samples from known classes, and out-of-distribution (OOD) samples from unknown classes. In recent years, many confidence calibration and OOD detection methods have been developed. In this paper, we find a general, widely existing but actually-neglected phenomenon that most confidence estimation methods are harmful for detecting misclassification errors. We investigate this problem and reveal that popular calibration and OOD detection methods often lead to worse confidence separation between correctly classified and misclassified examples, making it difficult to decide whether to trust a prediction or not. Finally, we propose to enlarge the confidence gap by finding flat minima, which yields state-of-the-art failure prediction performance under various settings including balanced, long-tailed, and covariate-shift classification scenarios. Our study not only provides a strong baseline for reliable confidence estimation but also acts as a bridge between understanding calibration, OOD detection, and failure prediction. The code is available at \url{https://github.com/Impression2805/FMFP}.
• Abstract（参考訳）: 信頼性の高い信頼性推定は、多くのリスクに敏感なアプリケーションにおいて難しいが基本的な要件である。 しかし、現代のディープニューラルネットワークは、しばしばその誤った予測、すなわち既知のクラスからの誤分類サンプル、未知のクラスからのアウト・オブ・ディストリビューション(OOD)サンプルに対して過信される。 近年,多くの信頼性校正法やOOD検出法が開発されている。 本稿では,信頼度推定手法のほとんどが誤分類検出に有害である,汎用的かつ広く存在するが実際に否定される現象を見出す。 そこで本研究では,一般的なキャリブレーション手法とood検出手法が,正しく分類された例と誤分類された例の信頼分離を悪化させ,予測を信頼するか否かの判断が困難であることを明らかにした。 最後に,バランスのとれた,ロングテールな,コ変量シフトの分類シナリオを含む様々な条件下で,最先端の障害予測性能を実現する,フラットな最小値を求めることで,信頼度ギャップの拡大を提案する。 本研究は信頼性評価のための強力なベースラインを提供するだけでなく, キャリブレーション, OOD検出, 故障予測のブリッジとしても機能する。 コードは \url{https://github.com/impression2805/fmfp} で入手できる。

関連論文リスト

• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Calibrating Multimodal Learning [94.65232214643436]
  本稿では,従来の手法の予測信頼性を校正するために,新たな正規化手法であるCML(Callibrating Multimodal Learning)正則化を提案する。 この技術は、既存のモデルによって柔軟に装備され、信頼性校正、分類精度、モデルロバスト性の観点から性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-06-02T04:29:57Z)
• Rethinking Confidence Calibration for Failure Prediction [37.43981354073841]
  現代のディープニューラルネットワークは、しばしば誤った予測を過信している。 ほとんどの信頼性校正手法は、故障予測に役に立たないか有害であることがわかった。 フラット・ミニマは故障予測に有用である,という単純な仮説を提案する。
  論文  参考訳（メタデータ） (2023-03-06T08:54:18Z)
• Calibrating Deep Neural Networks using Explicit Regularisation and Dynamic Data Pruning [25.982037837953268]
  ディープニューラルネットワーク(DNN)は誤った予測をしがちで、予測された出力と関連する信頼スコアのミスマッチを示すことが多い。 そこで本研究では,分類損失を伴う新たな正規化手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T05:34:58Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Uncertainty-Aware Reliable Text Classification [21.517852608625127]
  ディープニューラルネットワークは、分類タスクの予測精度の成功に大きく貢献している。 ドメインシフトやアウト・オブ・ディストリビューション(out-of-distribution)の例が存在する現実の環境では、過度に信頼された予測を行う傾向があります。 補助外乱と擬似外乱サンプルを併用して, あるクラスの事前知識でモデルを訓練する, 安価なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-15T04:39:55Z)
• Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。 本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。 このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
  論文  参考訳（メタデータ） (2021-06-08T11:40:49Z)
• Harnessing Adversarial Distances to Discover High-Confidence Errors [0.0]
  モデル信頼度から予測されるよりも高いレートで誤りを発見する問題について検討する。 本稿では, 対向的摂動によって導かれる, クエリ効率が高く, 新規な探索手法を提案する。
  論文  参考訳（メタデータ） (2020-06-29T13:44:16Z)
• Discriminative Jackknife: Quantifying Uncertainty in Deep Learning via Higher-Order Influence Functions [121.10450359856242]
  我々は、モデル損失関数の影響関数を利用して、予測信頼区間のジャックニフェ(または、アウト・ワン・アウト)推定器を構築する頻繁な手順を開発する。 1)および(2)を満たすDJは、幅広いディープラーニングモデルに適用可能であり、実装が容易であり、モデルトレーニングに干渉したり、精度を妥協したりすることなく、ポストホックな方法で適用することができる。
  論文  参考訳（メタデータ） (2020-06-29T13:36:52Z)
• An Empirical Evaluation on Robustness and Uncertainty of Regularization Methods [43.25086015530892]
  ディープニューラルネットワーク(DNN)は、人間と根本的に異なる振る舞いをする。 入力にぼやけなどの小さな汚職が適用されると、簡単に予測を変更できる。 彼らは分布外サンプル(不適切な不確実性尺度)に自信を持って予測する。
  論文  参考訳（メタデータ） (2020-03-09T01:15:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。