論文の概要: Evaluating Uncertainty Calibration for Open-Set Recognition
- arxiv url: http://arxiv.org/abs/2205.07160v1
- Date: Sun, 15 May 2022 02:08:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-18 10:26:41.231442
- Title: Evaluating Uncertainty Calibration for Open-Set Recognition
- Title(参考訳): オープンセット認識のための不確かさ校正の評価
- Authors: Zongyao Lyu, Nolan B. Gutierrez, William J. Beksi
- Abstract要約: ディープニューラルネットワーク(DNN)は、アウト・オブ・ディストリビューション(OOD)データに過信的な確率を提供する。
我々は,OODデータに対する従来のキャリブレーション手法とは大きく異なる方法で,オープンセット条件に対する一般的なキャリブレーション手法を評価する。
- 参考スコア(独自算出の注目度): 5.8022510096020525
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite achieving enormous success in predictive accuracy for visual
classification problems, deep neural networks (DNNs) suffer from providing
overconfident probabilities on out-of-distribution (OOD) data. Yet, accurate
uncertainty estimation is crucial for safe and reliable robot autonomy. In this
paper, we evaluate popular calibration techniques for open-set conditions in a
way that is distinctly different from the conventional evaluation of
calibration methods on OOD data. Our results show that closed-set DNN
calibration approaches are much less effective for open-set recognition, which
highlights the need to develop new DNN calibration methods to address this
problem.
- Abstract(参考訳): 視覚的分類問題に対する予測精度が著しく向上したにもかかわらず、ディープニューラルネットワーク(DNN)は、アウト・オブ・ディストリビューション(OOD)データに過信的な確率を提供する。
しかし、安全で信頼性の高い自律ロボットには正確な不確実性推定が不可欠である。
本稿では,OODデータに対する従来のキャリブレーション手法とは大きく異なる方法で,オープンセット条件に対する一般的なキャリブレーション手法の評価を行う。
以上の結果から, クローズドセットDNNキャリブレーション手法は, オープンセット認識にはあまり効果がなく, この問題に対処する新たなDNNキャリブレーション手法の開発の必要性が示唆された。
関連論文リスト
- Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳(メタデータ) (2024-03-05T11:44:14Z) - Calibration-Aware Bayesian Learning [31.31288398691955]
本稿では、キャリブレーション対応ベイズニューラルネットワーク(CA-BNN)と呼ばれる統合フレームワークを提案する。
ベイズ学習のように変分分布を最適化しながら、データ依存あるいはデータ非依存の正則化をそれぞれ適用する。
予測キャリブレーション誤差(ECE)と信頼性図を用いて,提案手法の利点を検証した。
論文 参考訳(メタデータ) (2023-05-12T14:19:15Z) - Calibration of Neural Networks [77.34726150561087]
本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。
我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。
実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
論文 参考訳(メタデータ) (2023-03-19T20:27:51Z) - Beyond In-Domain Scenarios: Robust Density-Aware Calibration [48.00374886504513]
ディープラーニングモデルをキャリブレーションして不確実性を認識した予測を生成することは、ディープニューラルネットワークが安全クリティカルなアプリケーションにますますデプロイされるため、非常に重要です。
k-nearest-neighbors(KNN)に基づく精度保存と密度認識手法であるDACを提案する。
DACはドメインシフトやOODのキャリブレーション性能の堅牢性を高めつつ,ドメイン内予測の不確実性評価に優れることを示す。
論文 参考訳(メタデータ) (2023-02-10T08:48:32Z) - Bayesian Confidence Calibration for Epistemic Uncertainty Modelling [4.358626952482686]
キャリブレーション法の不確実性を考慮した信頼度推定手法を提案する。
物体検出校正のための最先端校正性能を実現する。
論文 参考訳(メタデータ) (2021-09-21T10:53:16Z) - On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。
DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
論文 参考訳(メタデータ) (2021-07-01T17:59:07Z) - Improving Uncertainty Calibration of Deep Neural Networks via Truth
Discovery and Geometric Optimization [22.57474734944132]
本研究では,アンサンブルとポストホックの校正手法を統合するための真理発見フレームワークを提案する。
CIFARやImageNetなどの大規模データセットでは,最先端のキャリブレーション手法に対して一貫した改善が見られた。
論文 参考訳(メタデータ) (2021-06-25T06:44:16Z) - On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。
正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。
ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
論文 参考訳(メタデータ) (2021-06-17T11:04:14Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Calibrating Deep Neural Network Classifiers on Out-of-Distribution
Datasets [20.456742449675904]
CCAC(Confidence with a Auxiliary Class)はディープニューラルネットワーク(DNN)のための新しいポストホック信頼度校正法である
CCACのキーノベルティは、誤分類されたサンプルと正しく分類されたサンプルを分離するキャリブレーションモデルにおける補助クラスである。
異なるDNNモデル,データセット,アプリケーションに対する実験により,CCACは従来よりずっと優れていることがわかった。
論文 参考訳(メタデータ) (2020-06-16T04:06:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。