論文の概要: Increasing Trustworthiness of Deep Neural Networks via Accuracy Monitoring

• arxiv url: http://arxiv.org/abs/2007.01472v1
• Date: Fri, 3 Jul 2020 03:09:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 04:36:46.606465
• Title: Increasing Trustworthiness of Deep Neural Networks via Accuracy Monitoring
• Title（参考訳）: 精度モニタリングによるディープニューラルネットワークの信頼性向上
• Authors: Zhihui Shao, and Jianyi Yang, and Shaolei Ren
• Abstract要約: ディープニューラルネットワーク(DNN)の推論精度は重要なパフォーマンス指標であるが、実際のテストデータセットによって大きく異なる可能性がある。 これにより、特に安全クリティカルなアプリケーションにおいて、DNNの信頼性に関する重要な懸念が持ち上がっている。 本稿では、DNNのソフトマックス確率出力のみを入力とするニューラルネットワークに基づく精度監視モデルを提案する。
• 参考スコア（独自算出の注目度）: 20.456742449675904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inference accuracy of deep neural networks (DNNs) is a crucial performance metric, but can vary greatly in practice subject to actual test datasets and is typically unknown due to the lack of ground truth labels. This has raised significant concerns with trustworthiness of DNNs, especially in safety-critical applications. In this paper, we address trustworthiness of DNNs by using post-hoc processing to monitor the true inference accuracy on a user's dataset. Concretely, we propose a neural network-based accuracy monitor model, which only takes the deployed DNN's softmax probability output as its input and directly predicts if the DNN's prediction result is correct or not, thus leading to an estimate of the true inference accuracy. The accuracy monitor model can be pre-trained on a dataset relevant to the target application of interest, and only needs to actively label a small portion (1% in our experiments) of the user's dataset for model transfer. For estimation robustness, we further employ an ensemble of monitor models based on the Monte-Carlo dropout method. We evaluate our approach on different deployed DNN models for image classification and traffic sign detection over multiple datasets (including adversarial samples). The result shows that our accuracy monitor model provides a close-to-true accuracy estimation and outperforms the existing baseline methods.
• Abstract（参考訳）: ディープニューラルネットワーク(dnn)の推論精度は重要なパフォーマンス指標であるが、実際のテストデータセットの対象となる場合、実際には大きく異なる可能性がある。 これにより、特に安全クリティカルなアプリケーションにおいて、DNNの信頼性に関する重要な懸念が持ち上がっている。 本稿では,DNNの信頼性をポストホック処理を用いて,ユーザのデータセット上での真の推測精度をモニタリングする。 具体的には、デプロイされたdnnのsoftmax確率出力のみを入力として、dnnの予測結果が正しいかどうかを直接予測し、真の推論精度を推定するニューラルネットワークベースの精度監視モデルを提案する。 精度モニターモデルは、対象の関心のあるアプリケーションに関連するデータセットで事前トレーニングすることができ、モデル転送のためにユーザーのデータセットのごく一部(実験で1%)をアクティブにラベル付けするだけでよい。 また,ロバスト性を評価するために,モンテカルロドロップアウト法に基づくモニタモデルのアンサンブルを用いる。 我々は,複数のデータセット(対向サンプルを含む)上での画像分類と交通信号検出のための異なるDNNモデルに対するアプローチを評価する。 その結果, 精度モニタモデルにより, 精度をほぼ正確に評価し, 既存のベースライン法よりも優れていることがわかった。

関連論文リスト

• An Investigation on Machine Learning Predictive Accuracy Improvement and Uncertainty Reduction using VAE-based Data Augmentation [2.517043342442487]
  深層生成学習は、特定のMLモデルを使用して、既存のデータの基盤となる分布を学習し、実際のデータに似た合成サンプルを生成する。 本研究では,変分オートエンコーダ(VAE)を用いた深部生成モデルを用いて,データ拡張の有効性を評価することを目的とする。 本研究では,拡張データを用いてトレーニングしたディープニューラルネットワーク(DNN)モデルの予測において,データ拡張が精度の向上につながるかどうかを検討した。
  論文  参考訳（メタデータ） (2024-10-24T18:15:48Z)
• Estimating Uncertainty with Implicit Quantile Network [0.0]
  不確かさの定量化は多くの性能クリティカルなアプリケーションにおいて重要な部分である。 本稿では,アンサンブル学習やベイズニューラルネットワークなど,既存のアプローチに対する簡単な代替手段を提供する。
  論文  参考訳（メタデータ） (2024-08-26T13:33:14Z)
• Uncertainty Quantification over Graph with Conformalized Graph Neural Networks [52.20904874696597]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データに基づく強力な機械学習予測モデルである。 GNNには厳密な不確実性見積が欠如しており、エラーのコストが重要な設定での信頼性の高いデプロイメントが制限されている。 本稿では,共形予測(CP)をグラフベースモデルに拡張した共形GNN(CF-GNN)を提案する。
  論文  参考訳（メタデータ） (2023-05-23T21:38:23Z)
• UPNet: Uncertainty-based Picking Deep Learning Network for Robust First Break Picking [6.380128763476294]
  第一破砕(FB)ピッキングは地下速度モデルの決定において重要な側面である。 この処理を高速化するために、ディープニューラルネットワーク(DNN)が提案されている。 本稿では、FB選択タスクに不確実性定量化を導入し、UPNetと呼ばれる新しい不確実性に基づくディープラーニングネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T08:13:09Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Online Black-Box Confidence Estimation of Deep Neural Networks [0.0]
  本稿では,任意のDNNの信頼度を推定する近傍信頼度(NHC)について紹介する。 この計量は、トップ-1クラスの出力のみが必要であり、勾配へのアクセスを必要としないため、ブラックボックスシステムで使用することができる。 ドメイン内分散の小さなシフト、ドメイン外データ、あるいは敵攻撃など、さまざまなデータ分布の評価は、NHCがオンラインのホワイトボックスの信頼度推定に匹敵する方法と同等あるいは同等な性能を示すことを示している。
  論文  参考訳（メタデータ） (2023-02-27T08:30:46Z)
• Window-Based Distribution Shift Detection for Deep Neural Networks [21.73028341299301]
  本研究では,データストリームを受信したディープニューラルネットワーク(DNN)の正常動作をモニタリングする場合について検討する。 選択的予測原理を用いて,DNNの分布偏差検出手法を提案する。 我々の新しい検出法は、最先端技術よりもかなり少ない時間を消費しながら、オンパー以上の性能を発揮する。
  論文  参考訳（メタデータ） (2022-10-19T21:27:25Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。