論文の概要: Online Black-Box Confidence Estimation of Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2302.13578v1
- Date: Mon, 27 Feb 2023 08:30:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-28 16:23:43.979021
- Title: Online Black-Box Confidence Estimation of Deep Neural Networks
- Title（参考訳）: ディープニューラルネットワークのオンラインブラックボックス信頼度推定
- Authors: Fabian Woitschek, Georg Schneider
- Abstract要約: 本稿では,任意のDNNの信頼度を推定する近傍信頼度(NHC)について紹介する。
この計量は、トップ-1クラスの出力のみが必要であり、勾配へのアクセスを必要としないため、ブラックボックスシステムで使用することができる。
ドメイン内分散の小さなシフト、ドメイン外データ、あるいは敵攻撃など、さまざまなデータ分布の評価は、NHCがオンラインのホワイトボックスの信頼度推定に匹敵する方法と同等あるいは同等な性能を示すことを示している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Autonomous driving (AD) and advanced driver assistance systems (ADAS)
increasingly utilize deep neural networks (DNNs) for improved perception or
planning. Nevertheless, DNNs are quite brittle when the data distribution
during inference deviates from the data distribution during training. This
represents a challenge when deploying in partly unknown environments like in
the case of ADAS. At the same time, the standard confidence of DNNs remains
high even if the classification reliability decreases. This is problematic
since following motion control algorithms consider the apparently confident
prediction as reliable even though it might be considerably wrong. To reduce
this problem real-time capable confidence estimation is required that better
aligns with the actual reliability of the DNN classification. Additionally, the
need exists for black-box confidence estimation to enable the homogeneous
inclusion of externally developed components to an entire system. In this work
we explore this use case and introduce the neighborhood confidence (NHC) which
estimates the confidence of an arbitrary DNN for classification. The metric can
be used for black-box systems since only the top-1 class output is required and
does not need access to the gradients, the training dataset or a hold-out
validation dataset. Evaluation on different data distributions, including small
in-domain distribution shifts, out-of-domain data or adversarial attacks, shows
that the NHC performs better or on par with a comparable method for online
white-box confidence estimation in low data regimes which is required for
real-time capable AD/ADAS.
- Abstract（参考訳）: 自律運転(AD)と先進運転支援システム(ADAS)は、認識や計画を改善するためにディープニューラルネットワーク(DNN)をますます利用している。
それでも、推論中のデータ分布がトレーニング中のデータ分布から逸脱した場合、DNNはかなり不安定である。
これはadasのように部分的に未知の環境にデプロイする場合の課題を表している。
同時に、分類信頼性が低下しても、DNNの標準信頼度は高いままである。
次のモーションコントロールアルゴリズムは、かなり間違っているかもしれないが、明らかに自信のある予測を信頼できると見なすため、これは問題となる。
この問題を解決するためには, DNN分類の信頼性を向上するために, リアルタイム信頼度推定が必要である。
さらに、システム全体への外部開発コンポーネントの均一なインクルージョンを可能にするため、ブラックボックスの信頼度推定の必要性が存在する。
本研究では,このユースケースを考察し,分類のための任意のdnnの信頼度を推定する近傍信頼度(nhc)を導入する。
このメトリクスは、トップ1クラスの出力だけが必要であり、グラデーションやトレーニングデータセット、ホールドアウトバリデーションデータセットへのアクセスを必要としないため、ブラックボックスシステムで使用することができる。
ドメイン内の小さな分散シフト、ドメイン外データ、あるいは敵対的攻撃を含む異なるデータ分布の評価は、リアルタイムに有能なad/adasに必要な低データレジームにおけるオンラインホワイトボックス信頼度推定の方法に匹敵する性能を示す。
関連論文リスト
- Enumerating Safe Regions in Deep Neural Networks with Provable
Probabilistic Guarantees [86.1362094580439]
安全プロパティとDNNが与えられた場合、安全であるプロパティ入力領域のすべての領域の集合を列挙する。
この問題の #P-hardness のため,epsilon-ProVe と呼ばれる効率的な近似法を提案する。
提案手法は, 許容限界の統計的予測により得られた出力可到達集合の制御可能な過小評価を利用する。
論文 参考訳（メタデータ） (2023-08-18T22:30:35Z) - Bridging Precision and Confidence: A Train-Time Loss for Calibrating
Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。
その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文 参考訳（メタデータ） (2023-03-25T08:56:21Z) - DeepVigor: Vulnerability Value Ranges and Factors for DNNs' Reliability
Assessment [1.189955933770711]
Deep Neural Networks(DNN)とそのアクセラレータは、安全クリティカルなアプリケーションに頻繁にデプロイされている。
本稿では,DeepVigorと呼ばれる,高精度,微粒化,メトリック指向,アクセラレーションに依存しない新しい手法を提案する。
論文 参考訳（メタデータ） (2023-03-13T08:55:10Z) - A Trustworthiness Score to Evaluate DNN Predictions [1.5484595752241122]
ディープニューラルネットワークの予測が信頼できるか疑わしいかを知るためには、運用中の安全性が不可欠である。
信頼性スコア(TS: Trustworthiness score)は、予測に対する信頼性を提供するための、より透明で効果的な方法を提供する指標である。
人検出にYOLOv5を用いたケーススタディを行い,TSとSSの手法と使用法を実証した。
論文 参考訳（メタデータ） (2023-01-21T00:48:18Z) - The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳（メタデータ） (2023-01-17T18:32:01Z) - Interpretable Self-Aware Neural Networks for Robust Trajectory
Prediction [50.79827516897913]
本稿では,意味概念間で不確実性を分散する軌道予測のための解釈可能なパラダイムを提案する。
実世界の自動運転データに対する我々のアプローチを検証し、最先端のベースラインよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-11-16T06:28:20Z) - $p$-DkNN: Out-of-Distribution Detection Through Statistical Testing of
Deep Representations [32.99800144249333]
我々は、訓練された深層ニューラルネットワークを使用し、その中間の隠蔽表現の類似構造を分析する新しい推論手順である$p$-DkNNを紹介した。
我々は、$p$-DkNNでアダプティブアタッカーが、最悪のOOD入力の形式である敵の例を作成して、入力に意味のある変更を導入する。
論文 参考訳（メタデータ） (2022-07-25T21:42:08Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - PAC Confidence Predictions for Deep Neural Network Classifiers [28.61937254015157]
ディープニューラルネットワーク(DNN)を安全クリティカルな環境でデプロイする上で重要な課題は、その不確実性を定量化する厳密な方法を提供することだ。
証明可能な正当性保証を備えたDNNに対して,予測された分類信頼度を構築するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-11-02T04:09:17Z) - Increasing Trustworthiness of Deep Neural Networks via Accuracy
Monitoring [20.456742449675904]
ディープニューラルネットワーク(DNN)の推論精度は重要なパフォーマンス指標であるが、実際のテストデータセットによって大きく異なる可能性がある。
これにより、特に安全クリティカルなアプリケーションにおいて、DNNの信頼性に関する重要な懸念が持ち上がっている。
本稿では、DNNのソフトマックス確率出力のみを入力とするニューラルネットワークに基づく精度監視モデルを提案する。
論文 参考訳（メタデータ） (2020-07-03T03:09:36Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。