論文の概要: Evaluating Uncertainty Calibration for Open-Set Recognition
- arxiv url: http://arxiv.org/abs/2205.07160v1
- Date: Sun, 15 May 2022 02:08:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-18 10:26:41.231442
- Title: Evaluating Uncertainty Calibration for Open-Set Recognition
- Title(参考訳): オープンセット認識のための不確かさ校正の評価
- Authors: Zongyao Lyu, Nolan B. Gutierrez, William J. Beksi
- Abstract要約: ディープニューラルネットワーク(DNN)は、アウト・オブ・ディストリビューション(OOD)データに過信的な確率を提供する。
我々は,OODデータに対する従来のキャリブレーション手法とは大きく異なる方法で,オープンセット条件に対する一般的なキャリブレーション手法を評価する。
- 参考スコア(独自算出の注目度): 5.8022510096020525
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite achieving enormous success in predictive accuracy for visual
classification problems, deep neural networks (DNNs) suffer from providing
overconfident probabilities on out-of-distribution (OOD) data. Yet, accurate
uncertainty estimation is crucial for safe and reliable robot autonomy. In this
paper, we evaluate popular calibration techniques for open-set conditions in a
way that is distinctly different from the conventional evaluation of
calibration methods on OOD data. Our results show that closed-set DNN
calibration approaches are much less effective for open-set recognition, which
highlights the need to develop new DNN calibration methods to address this
problem.
- Abstract(参考訳): 視覚的分類問題に対する予測精度が著しく向上したにもかかわらず、ディープニューラルネットワーク(DNN)は、アウト・オブ・ディストリビューション(OOD)データに過信的な確率を提供する。
しかし、安全で信頼性の高い自律ロボットには正確な不確実性推定が不可欠である。
本稿では,OODデータに対する従来のキャリブレーション手法とは大きく異なる方法で,オープンセット条件に対する一般的なキャリブレーション手法の評価を行う。
以上の結果から, クローズドセットDNNキャリブレーション手法は, オープンセット認識にはあまり効果がなく, この問題に対処する新たなDNNキャリブレーション手法の開発の必要性が示唆された。
関連論文リスト
- Uncertainty Calibration with Energy Based Instance-wise Scaling in the Wild Dataset [23.155946032377052]
エネルギーモデルに基づく新しいインスタンスワイドキャリブレーション手法を提案する。
本手法は,ソフトマックス信頼性スコアの代わりにエネルギースコアを組み込むことにより,不確実性を考慮した適応的な検討を可能にする。
実験では,提案手法はスペクトル間のロバストな性能を一貫して維持することを示した。
論文 参考訳(メタデータ) (2024-07-17T06:14:55Z) - Are Data Augmentation Methods in Named Entity Recognition Applicable for Uncertainty Estimation? [26.336947440529713]
名前付きエンティティ認識(NER)タスクにおけるデータの増大が信頼度校正と不確実性評価に与える影響について検討する。
また,データ拡張により,言語間および言語間におけるキャリブレーションや不確実性が向上することを示す。
また,増量によりキャリブレーションや不確実性がさらに向上することが示唆された。
論文 参考訳(メタデータ) (2024-07-02T08:49:43Z) - Decoupling of neural network calibration measures [45.70855737027571]
本稿では,AUSE(Area Under Sparsification Error curve)測定値に焦点をあてて,異なるニューラルネットワークキャリブレーション尺度の結合について検討する。
本稿では,現行の手法は自由度を保ち,安全クリティカルな機能のホモログ化のユニークなモデルを妨げると結論付けている。
論文 参考訳(メタデータ) (2024-06-04T15:21:37Z) - Calibrating Bayesian Learning via Regularization, Confidence Minimization, and Selective Inference [37.82259435084825]
適切に校正されたAIモデルは、その精度を分布内入力(ID)に正しく報告し、また、分布外入力(OOD)の検出を可能にする必要がある。
本稿では、キャリブレーション正則化を統合した変分推論(VI)に基づくベイズ学習の拡張を提案する。
論文 参考訳(メタデータ) (2024-04-17T13:08:26Z) - Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳(メタデータ) (2024-03-05T11:44:14Z) - Calibration of Neural Networks [77.34726150561087]
本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。
我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。
実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
論文 参考訳(メタデータ) (2023-03-19T20:27:51Z) - Beyond In-Domain Scenarios: Robust Density-Aware Calibration [48.00374886504513]
ディープラーニングモデルをキャリブレーションして不確実性を認識した予測を生成することは、ディープニューラルネットワークが安全クリティカルなアプリケーションにますますデプロイされるため、非常に重要です。
k-nearest-neighbors(KNN)に基づく精度保存と密度認識手法であるDACを提案する。
DACはドメインシフトやOODのキャリブレーション性能の堅牢性を高めつつ,ドメイン内予測の不確実性評価に優れることを示す。
論文 参考訳(メタデータ) (2023-02-10T08:48:32Z) - Towards Reliable Medical Image Segmentation by utilizing Evidential Calibrated Uncertainty [52.03490691733464]
本稿では,医療画像セグメンテーションネットワークにシームレスに統合可能な,実装が容易な基礎モデルであるDEviSを紹介する。
主観的論理理論を利用して、医用画像分割の問題に対する確率と不確実性を明示的にモデル化する。
DeviSには不確実性を考慮したフィルタリングモジュールが組み込まれている。
論文 参考訳(メタデータ) (2023-01-01T05:02:46Z) - On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。
DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
論文 参考訳(メタデータ) (2021-07-01T17:59:07Z) - On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。
正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。
ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
論文 参考訳(メタデータ) (2021-06-17T11:04:14Z) - Calibrating Deep Neural Network Classifiers on Out-of-Distribution
Datasets [20.456742449675904]
CCAC(Confidence with a Auxiliary Class)はディープニューラルネットワーク(DNN)のための新しいポストホック信頼度校正法である
CCACのキーノベルティは、誤分類されたサンプルと正しく分類されたサンプルを分離するキャリブレーションモデルにおける補助クラスである。
異なるDNNモデル,データセット,アプリケーションに対する実験により,CCACは従来よりずっと優れていることがわかった。
論文 参考訳(メタデータ) (2020-06-16T04:06:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。