論文の概要: DOCTOR: A Simple Method for Detecting Misclassification Errors
- arxiv url: http://arxiv.org/abs/2106.02395v1
- Date: Fri, 4 Jun 2021 10:20:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-07 15:17:41.150494
- Title: DOCTOR: A Simple Method for Detecting Misclassification Errors
- Title(参考訳): 博士:誤分類エラーを簡易に検出する方法
- Authors: Federica Granese, Marco Romanelli, Daniele Gorla, Catuscia
Palamidessi, Pablo Piantanida
- Abstract要約: 彼らの使用を確実にするための有望なアプローチは、他の人を捨てながら正しい可能性が高い決定を受け入れることです。
そこで本研究では,DNN分類器の予測が信頼すべきか否かを判断するシンプルな手法であるDOCTORを提案する。
実験により、DOCTORは、様々なよく知られた画像や感情分析データセットにおいて、最先端の手法よりも優れていることを示す。
- 参考スコア(独自算出の注目度): 25.495555853264648
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) have shown to perform very well on large scale
object recognition problems and lead to widespread use for real-world
applications, including situations where DNN are implemented as "black boxes".
A promising approach to secure their use is to accept decisions that are likely
to be correct while discarding the others. In this work, we propose DOCTOR, a
simple method that aims to identify whether the prediction of a DNN classifier
should (or should not) be trusted so that, consequently, it would be possible
to accept it or to reject it. Two scenarios are investigated: Totally Black Box
(TBB) where only the soft-predictions are available and Partially Black Box
(PBB) where gradient-propagation to perform input pre-processing is allowed.
Empirically, we show that DOCTOR outperforms all state-of-the-art methods on
various well-known images and sentiment analysis datasets. In particular, we
observe a reduction of up to $4\%$ of the false rejection rate (FRR) in the PBB
scenario. DOCTOR can be applied to any pre-trained model, it does not require
prior information about the underlying dataset and is as simple as the simplest
available methods in the literature.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)は、大規模オブジェクト認識問題において非常によく機能し、DNNが"ブラックボックス"として実装される状況を含む、現実世界のアプリケーションに広く使用されることが示されている。
彼らの使用を確実にするための有望なアプローチは、他の人を捨てながら正しい可能性が高い決定を受け入れることです。
そこで本研究では,dnn分類器の予測を信頼すべき(あるいは否定すべきでない)かどうかを識別することを目的とした簡易な手法であるdoctorを提案する。
ソフト予測のみが可能な全ブラックボックス(TBB)と、入力前処理を行うための勾配プロパゲーションを許可する部分ブラックボックス(PBB)の2つのシナリオが検討されている。
経験的に、ドクターは様々な既知の画像や感情分析データセットで最先端の手法を全て上回っていることを示している。
特に, PBBシナリオにおける偽拒絶率(FRR)の最大4.5%の低減が観察された。
DOCTORは任意の事前訓練されたモデルに適用できるが、基礎となるデータセットに関する事前情報を必要としない。
関連論文リスト
- Estimating Uncertainty with Implicit Quantile Network [0.0]
不確かさの定量化は多くの性能クリティカルなアプリケーションにおいて重要な部分である。
本稿では,アンサンブル学習やベイズニューラルネットワークなど,既存のアプローチに対する簡単な代替手段を提供する。
論文 参考訳(メタデータ) (2024-08-26T13:33:14Z) - Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳(メタデータ) (2023-10-20T10:20:45Z) - Bridging Precision and Confidence: A Train-Time Loss for Calibrating
Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。
その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文 参考訳(メタデータ) (2023-03-25T08:56:21Z) - The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳(メタデータ) (2023-01-17T18:32:01Z) - Unsupervised Early Exit in DNNs with Multiple Exits [0.0]
我々は、Strong Dominance(SD)プロパティをほぼ満足することを示すために、事前訓練されたマルチエクイットDNNであるElastic BERTに焦点を当てた。
IMDbとYelpのデータセット上で,我々のアルゴリズムを実証的に検証する。
論文 参考訳(メタデータ) (2022-09-20T05:35:54Z) - Instance Attack:An Explanation-based Vulnerability Analysis Framework
Against DNNs for Malware Detection [0.0]
本稿では,インスタンスベースの攻撃の概念を提案する。
我々の方式は解釈可能であり、ブラックボックス環境でも機能する。
提案手法はブラックボックス設定で動作し,その結果をドメイン知識で検証することができる。
論文 参考訳(メタデータ) (2022-09-06T12:41:20Z) - A Simple Approach to Improve Single-Model Deep Uncertainty via
Distance-Awareness [33.09831377640498]
本研究では,1つの決定論的表現に基づく1つのネットワークの不確実性向上手法について検討する。
本稿では,現代のDNNにおける距離認識能力を向上させる簡易な手法として,スペクトル正規化ニューラルガウス過程(SNGP)を提案する。
ビジョンと言語理解のベンチマークスイートでは、SNGPは予測、キャリブレーション、ドメイン外検出において、他の単一モデルアプローチよりも優れている。
論文 参考訳(メタデータ) (2022-05-01T05:46:13Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳(メタデータ) (2021-07-05T12:44:39Z) - Distill and Fine-tune: Effective Adaptation from a Black-box Source
Model [138.12678159620248]
Unsupervised Domain Adapt (UDA) は、既存のラベル付きデータセット (source) の知識を新しいラベル付きデータセット (target) に転送することを目的としています。
Distill and Fine-tune (Dis-tune) という新しい二段階適応フレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-04T05:29:05Z) - Gifsplanation via Latent Shift: A Simple Autoencoder Approach to
Progressive Exaggeration on Chest X-rays [3.958317527488534]
本稿では,入力画像の潜在表現を変換して,予測に使用する特徴を誇張あるいは縮小する,シンプルなオートエンコーダと更新(潜時シフト)を提案する。
本研究では, 従来のアトリビューションマップや提案手法を用いて, 240個の胸部X線予測を行い, どれが偽陽性か(半数)を判定する。
論文 参考訳(メタデータ) (2021-02-18T16:55:03Z) - GraN: An Efficient Gradient-Norm Based Detector for Adversarial and
Misclassified Examples [77.99182201815763]
ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。
GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。
GraNは多くの問題セットで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2020-04-20T10:09:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。