論文の概要: PAC Confidence Predictions for Deep Neural Network Classifiers
- arxiv url: http://arxiv.org/abs/2011.00716v5
- Date: Wed, 17 Mar 2021 19:51:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 11:13:07.693995
- Title: PAC Confidence Predictions for Deep Neural Network Classifiers
- Title(参考訳): ディープニューラルネットワーク分類器のPAC信頼度予測
- Authors: Sangdon Park, Shuo Li, Insup Lee, Osbert Bastani
- Abstract要約: ディープニューラルネットワーク(DNN)を安全クリティカルな環境でデプロイする上で重要な課題は、その不確実性を定量化する厳密な方法を提供することだ。
証明可能な正当性保証を備えたDNNに対して,予測された分類信頼度を構築するアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 28.61937254015157
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A key challenge for deploying deep neural networks (DNNs) in safety critical
settings is the need to provide rigorous ways to quantify their uncertainty. In
this paper, we propose a novel algorithm for constructing predicted
classification confidences for DNNs that comes with provable correctness
guarantees. Our approach uses Clopper-Pearson confidence intervals for the
Binomial distribution in conjunction with the histogram binning approach to
calibrated prediction. In addition, we demonstrate how our predicted
confidences can be used to enable downstream guarantees in two settings: (i)
fast DNN inference, where we demonstrate how to compose a fast but inaccurate
DNN with an accurate but slow DNN in a rigorous way to improve performance
without sacrificing accuracy, and (ii) safe planning, where we guarantee safety
when using a DNN to predict whether a given action is safe based on visual
observations. In our experiments, we demonstrate that our approach can be used
to provide guarantees for state-of-the-art DNNs.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)を安全クリティカルな環境でデプロイする上で重要な課題は、その不確実性を定量化する厳密な方法を提供することだ。
本稿では,証明可能な正しさ保証を伴うdnnの分類信頼度を推定する新しいアルゴリズムを提案する。
本手法では,二項分布に対するクロッパー・ピアソンの信頼区間をヒストグラム結合法と併用してキャリブレーション予測を行う。
さらに、2つの設定でダウンストリーム保証を有効にするために、予測された信頼性をどのように利用できるかを示します。
(i)高速DNN推論では、正確だが遅いDNNで高速だが不正確なDNNを構成する方法を示し、精度を犠牲にすることなく、厳密な方法で性能を向上させる。
(ii)安全計画(dnnを用いて所定の行為が安全かどうかを視覚的な観察に基づいて予測する場合の安全性を保証する)。
実験では,我々の手法が最先端DNNの保証に利用できることを示した。
関連論文リスト
- Data-Driven Lipschitz Continuity: A Cost-Effective Approach to Improve Adversarial Robustness [47.9744734181236]
我々は、ディープニューラルネットワーク(DNN)の敵攻撃に対する堅牢性を証明するために、リプシッツ連続性の概念を探求する。
本稿では,入力領域を制約範囲に再マップし,リプシッツ定数を低減し,ロバスト性を高める新しいアルゴリズムを提案する。
本手法は,ロバストベンチリーダーボード上のCIFAR10,CIFAR100,ImageNetデータセットに対して,最も堅牢な精度を実現する。
論文 参考訳(メタデータ) (2024-06-28T03:10:36Z) - Enumerating Safe Regions in Deep Neural Networks with Provable
Probabilistic Guarantees [86.1362094580439]
安全プロパティとDNNが与えられた場合、安全であるプロパティ入力領域のすべての領域の集合を列挙する。
この問題の #P-hardness のため,epsilon-ProVe と呼ばれる効率的な近似法を提案する。
提案手法は, 許容限界の統計的予測により得られた出力可到達集合の制御可能な過小評価を利用する。
論文 参考訳(メタデータ) (2023-08-18T22:30:35Z) - Uncertainty Quantification over Graph with Conformalized Graph Neural
Networks [52.20904874696597]
グラフニューラルネットワーク(GNN)は、グラフ構造化データに基づく強力な機械学習予測モデルである。
GNNには厳密な不確実性見積が欠如しており、エラーのコストが重要な設定での信頼性の高いデプロイメントが制限されている。
本稿では,共形予測(CP)をグラフベースモデルに拡張した共形GNN(CF-GNN)を提案する。
論文 参考訳(メタデータ) (2023-05-23T21:38:23Z) - Online Black-Box Confidence Estimation of Deep Neural Networks [0.0]
本稿では,任意のDNNの信頼度を推定する近傍信頼度(NHC)について紹介する。
この計量は、トップ-1クラスの出力のみが必要であり、勾配へのアクセスを必要としないため、ブラックボックスシステムで使用することができる。
ドメイン内分散の小さなシフト、ドメイン外データ、あるいは敵攻撃など、さまざまなデータ分布の評価は、NHCがオンラインのホワイトボックスの信頼度推定に匹敵する方法と同等あるいは同等な性能を示すことを示している。
論文 参考訳(メタデータ) (2023-02-27T08:30:46Z) - The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳(メタデータ) (2023-01-17T18:32:01Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - Uncertainty-Aware Deep Calibrated Salient Object Detection [74.58153220370527]
既存のディープニューラルネットワークに基づくサルエントオブジェクト検出(SOD)手法は主に高いネットワーク精度の追求に重点を置いている。
これらの手法は、信頼不均衡問題として知られるネットワーク精度と予測信頼の間のギャップを見落としている。
我々は,不確実性を考慮した深部SODネットワークを導入し,深部SODネットワークの過信を防止するための2つの戦略を提案する。
論文 参考訳(メタデータ) (2020-12-10T23:28:36Z) - Increasing Trustworthiness of Deep Neural Networks via Accuracy
Monitoring [20.456742449675904]
ディープニューラルネットワーク(DNN)の推論精度は重要なパフォーマンス指標であるが、実際のテストデータセットによって大きく異なる可能性がある。
これにより、特に安全クリティカルなアプリケーションにおいて、DNNの信頼性に関する重要な懸念が持ち上がっている。
本稿では、DNNのソフトマックス確率出力のみを入力とするニューラルネットワークに基づく精度監視モデルを提案する。
論文 参考訳(メタデータ) (2020-07-03T03:09:36Z) - Interval Neural Networks: Uncertainty Scores [11.74565957328407]
我々は、事前訓練された深層ニューラルネットワーク(DNN)の出力における不確実性スコアを生成する高速で非ベイズ的手法を提案する。
このインターバルニューラルネットワーク(INN)は、インターバル値パラメータを持ち、インターバル演算を用いてその入力を伝搬する。
画像再構成タスクの数値実験において,予測誤差の代用としてINNの実用性を実証する。
論文 参考訳(メタデータ) (2020-03-25T18:03:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。