論文の概要: Rethinking Confidence Calibration for Failure Prediction

• arxiv url: http://arxiv.org/abs/2303.02970v1
• Date: Mon, 6 Mar 2023 08:54:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-07 16:43:07.453480
• Title: Rethinking Confidence Calibration for Failure Prediction
• Title（参考訳）: 失敗予測のための信頼度校正の再考
• Authors: Fei Zhu, Zhen Cheng, Xu-Yao Zhang, Cheng-Lin Liu
• Abstract要約: 現代のディープニューラルネットワークは、しばしば誤った予測を過信している。 ほとんどの信頼性校正手法は、故障予測に役に立たないか有害であることがわかった。 フラット・ミニマは故障予測に有用である,という単純な仮説を提案する。
• 参考スコア（独自算出の注目度）: 37.43981354073841
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliable confidence estimation for the predictions is important in many safety-critical applications. However, modern deep neural networks are often overconfident for their incorrect predictions. Recently, many calibration methods have been proposed to alleviate the overconfidence problem. With calibrated confidence, a primary and practical purpose is to detect misclassification errors by filtering out low-confidence predictions (known as failure prediction). In this paper, we find a general, widely-existed but actually-neglected phenomenon that most confidence calibration methods are useless or harmful for failure prediction. We investigate this problem and reveal that popular confidence calibration methods often lead to worse confidence separation between correct and incorrect samples, making it more difficult to decide whether to trust a prediction or not. Finally, inspired by the natural connection between flat minima and confidence separation, we propose a simple hypothesis: flat minima is beneficial for failure prediction. We verify this hypothesis via extensive experiments and further boost the performance by combining two different flat minima techniques. Our code is available at https://github.com/Impression2805/FMFP
• Abstract（参考訳）: 予測に対する信頼性の高い信頼度推定は、多くの安全クリティカルなアプリケーションにおいて重要である。 しかし、現代のディープニューラルネットワークは、しばしば誤った予測を過信している。 近年, 過信頼問題を解決するための校正手法が多数提案されている。 キャリブレーションされた信頼度では、信頼性の低い予測(失敗予測として知られる)をフィルタリングすることで誤分類エラーを検出する。 本稿では,信頼度校正手法のほとんどが障害予測に役に立たない,あるいは有害である,一般的かつ広く存在するが実際に否定される現象を見出す。 そこで本研究では, 信頼度校正手法が, 正しいサンプルと間違ったサンプルの信頼度分離を悪化させ, 予測を信頼するか否かを判断することが困難であることを明らかにした。 最後に,フラットミニマと信頼分離の自然な関係に着想を得て,フラットミニマは障害予測に有効であるという単純な仮説を提案する。 この仮説を広範囲な実験を通じて検証し、2つの異なる平たいミニマ技法を組み合わせることで、さらなる性能向上を図る。 私たちのコードはhttps://github.com/Impression2805/FMFPで利用可能です。

関連論文リスト

• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
  最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。 予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。 本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
  論文  参考訳（メタデータ） (2023-09-06T00:56:24Z)
• Two Sides of Miscalibration: Identifying Over and Under-Confidence Prediction for Network Calibration [1.192436948211501]
  安全クリティカルなタスクにおける信頼性予測には、ディープニューラルネットワークの信頼性校正が不可欠である。 ミススキャリブレーションは、過信と/または過信をモデル化する。 校正点とクラス別校正点を同定するために,新しい校正点である校正点を導入する。 クラスワイドの誤校正スコアをプロキシとして使用して,過度かつ過度に対処可能な校正手法を設計する。
  論文  参考訳（メタデータ） (2023-08-06T17:59:14Z)
• Calibrating Multimodal Learning [94.65232214643436]
  本稿では,従来の手法の予測信頼性を校正するために,新たな正規化手法であるCML(Callibrating Multimodal Learning)正則化を提案する。 この技術は、既存のモデルによって柔軟に装備され、信頼性校正、分類精度、モデルロバスト性の観点から性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-06-02T04:29:57Z)
• Calibrating Deep Neural Networks using Explicit Regularisation and Dynamic Data Pruning [25.982037837953268]
  ディープニューラルネットワーク(DNN)は誤った予測をしがちで、予測された出力と関連する信頼スコアのミスマッチを示すことが多い。 そこで本研究では,分類損失を伴う新たな正規化手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T05:34:58Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Learning to Predict Trustworthiness with Steep Slope Loss [69.40817968905495]
  本研究では,現実の大規模データセットにおける信頼性の予測問題について検討する。 我々は、先行技術損失関数で訓練された信頼性予測器が、正しい予測と誤った予測の両方を信頼に値するものとみなす傾向があることを観察する。 そこで我々は,2つのスライド状の曲線による不正確な予測から,特徴w.r.t.正しい予測を分離する,新たな急勾配損失を提案する。
  論文  参考訳（メタデータ） (2021-09-30T19:19:09Z)
• How to Evaluate Uncertainty Estimates in Machine Learning for Regression? [1.4610038284393165]
  両手法とも,不確実性評価の品質評価には深刻な欠陥があることが示唆された。 第一に、どちらのアプローチも、予測の不確実性を共同で生み出す別個のコンポーネントを解き放つことはできない。 第3に、予測間隔を直接テストする現在のアプローチには、さらなる欠陥がある。
  論文  参考訳（メタデータ） (2021-06-07T07:47:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。