論文の概要: Neuron Sensitivity Guided Test Case Selection for Deep Learning Testing

• arxiv url: http://arxiv.org/abs/2307.11011v1
• Date: Thu, 20 Jul 2023 16:36:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 11:59:42.467800
• Title: Neuron Sensitivity Guided Test Case Selection for Deep Learning Testing
• Title（参考訳）: 深層学習テストのためのニューロン感度誘導型テストケース選択
• Authors: Dong Huang, Qingwen Bu, Yichao Fu, Yuhao Qing, Bocheng Xiao, Heming Cui
• Abstract要約: ディープニューラルネットワーク(DNN)は、様々なタスクに対処するために、ソフトウェアに広くデプロイされている。 DNN開発者は、自然界からリッチなラベル付きデータセットを収集し、DNNモデルをテストするためにラベル付けすることが多い。 ラベル付きデータセットから有意なテストケースを選択することで、ラベル付け時間を短縮できるNAS, Neuron Sensitivity guided test case Selectionを提案する。
• 参考スコア（独自算出の注目度）: 6.686765165569934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Networks~(DNNs) have been widely deployed in software to address various tasks~(e.g., autonomous driving, medical diagnosis). However, they could also produce incorrect behaviors that result in financial losses and even threaten human safety. To reveal the incorrect behaviors in DNN and repair them, DNN developers often collect rich unlabeled datasets from the natural world and label them to test the DNN models. However, properly labeling a large number of unlabeled datasets is a highly expensive and time-consuming task. To address the above-mentioned problem, we propose NSS, Neuron Sensitivity guided test case Selection, which can reduce the labeling time by selecting valuable test cases from unlabeled datasets. NSS leverages the internal neuron's information induced by test cases to select valuable test cases, which have high confidence in causing the model to behave incorrectly. We evaluate NSS with four widely used datasets and four well-designed DNN models compared to SOTA baseline methods. The results show that NSS performs well in assessing the test cases' probability of fault triggering and model improvement capabilities. Specifically, compared with baseline approaches, NSS obtains a higher fault detection rate~(e.g., when selecting 5\% test case from the unlabeled dataset in MNIST \& LeNet1 experiment, NSS can obtain 81.8\% fault detection rate, 20\% higher than baselines).
• Abstract（参考訳）: Deep Neural Networks〜(DNN)は様々なタスク(例えば自律運転、医療診断)に対処するためにソフトウェアに広くデプロイされている。 しかし、経済的な損失を招き、人間の安全を脅かす誤った行動も生み出す可能性がある。 DNNの誤った振る舞いを明らかにして修正するために、DNN開発者はしばしば、自然界から豊富なラベル付けされていないデータセットを収集し、それらをラベル付けしてDNNモデルをテストする。 しかし、多くのラベルのないデータセットを適切にラベル付けすることは、非常に高価で時間がかかります。 上記の問題に対処するために,nss(neuron sensitivity guided test case selection)を提案し,ラベル付きデータセットから有用なテストケースを選択することでラベリング時間を短縮する。 NSSは、テストケースによって引き起こされる内部ニューロンの情報を利用して、重要なテストケースを選択する。 sotaベースライン法と比較して,広範に使用される4つのデータセットとよく設計された4つのdnnモデルを用いてnssを評価する。 その結果,nssはテストケースの障害トリガ発生確率とモデル改善能力の評価に有効であることがわかった。 具体的には、ベースラインアプローチと比較して高いフォールト検出率(例えばmnist \&lenet1実験でラベルなしデータセットから5\%のテストケースを選択する場合、nssはベースラインより20\%高い81.8\%のフォールト検出率を得ることができる)を得ることができる。

関連論文リスト

• Feature Map Testing for Deep Neural Networks [6.931570234442819]
  機能マップレベルからDNNをテストするDeepFeatureを提案する。 DeepFeatureは高い障害検出率を持ち、より多くの種類の障害を検出することができる(DeepFeatureをカバレッジ誘導選択技術と比較すると、障害検出率は49.32%向上する)。
  論文  参考訳（メタデータ） (2023-07-21T13:15:15Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• DeepGD: A Multi-Objective Black-Box Test Selection Approach for Deep Neural Networks [0.6249768559720121]
  DeepGDはディープニューラルネットワーク(DNN)のためのブラックボックス多目的テスト選択アプローチ 大規模なラベル付けされていないデータセットから高い障害を露呈するパワーでテスト入力の選択を優先順位付けすることで、ラベル付けのコストを低減します。
  論文  参考訳（メタデータ） (2023-03-08T20:33:09Z)
• The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural Networks [94.63547069706459]
  #DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。 違反の正確な数を返す新しい手法を提案する。 安全クリティカルなベンチマークのセットに関する実験結果を示す。
  論文  参考訳（メタデータ） (2023-01-17T18:32:01Z)
• Efficient Testing of Deep Neural Networks via Decision Boundary Analysis [28.868479656437145]
  我々は、新しいラベルのないデータに基づいてDNNの性能を推定できるAriesという新しい手法を提案する。 Aries による推定精度は 0.03% -- 2.60% (平均 0.61%) しか真の精度から外れていない。
  論文  参考訳（メタデータ） (2022-07-22T08:39:10Z)
• NP-Match: When Neural Processes meet Semi-Supervised Learning [133.009621275051]
  半教師付き学習(SSL)は近年広く研究されており、ラベル付きデータへの依存を減らすためにラベル付きデータを活用する効果的な方法である。 本研究では,ニューラルネットワーク(NP)を半教師付き画像分類タスクに調整し,NP-Matchと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-07-03T15:24:31Z)
• Labeling-Free Comparison Testing of Deep Learning Models [28.47632100019289]
  本研究では,ラベリング作業の限界を克服し,ランダム性をサンプリングするためのラベリングフリー比較試験手法を提案する。 提案手法は,データセットや分布シフトに関わらず,Spearmanの相関値とKendallの$tau$に対して,最大0.74および0.53のベースライン手法より優れている。
  論文  参考訳（メタデータ） (2022-04-08T10:55:45Z)
• Shift-Robust GNNs: Overcoming the Limitations of Localized Graph Training data [52.771780951404565]
  Shift-Robust GNN (SR-GNN) は、バイアス付きトレーニングデータとグラフの真の推論分布の分布差を考慮に入れた設計である。 SR-GNNが他のGNNベースラインを精度良く上回り、バイアス付きトレーニングデータから生じる負の効果の少なくとも40%を排除していることを示す。
  論文  参考訳（メタデータ） (2021-08-02T18:00:38Z)
• Computing the Testing Error without a Testing Set [33.068870286618655]
  テストデータセットを必要としないトレーニングとテストの間のパフォーマンスギャップを推定するアルゴリズムを導出します。 これによって、アクセスできないサンプルでも、DNNのテストエラーを計算できます。
  論文  参考訳（メタデータ） (2020-05-01T15:35:50Z)
• GraN: An Efficient Gradient-Norm Based Detector for Adversarial and Misclassified Examples [77.99182201815763]
  ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。 GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。 GraNは多くの問題セットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-04-20T10:09:27Z)
• Bayesian x-vector: Bayesian Neural Network based x-vector System for Speaker Verification [71.45033077934723]
  我々はディープニューラルネットワーク(DNN)xベクトル話者検証システムにベイズニューラルネットワーク(BNN)を組み込む。 BNNによって提供される重みの不確実性モデリングにより、システムは評価データにより良い一般化を期待できる。 その結果、BNNの相対的なEERの2.66%と2.32%の減少により、短文と短文のドメイン評価が可能であることが判明した。
  論文  参考訳（メタデータ） (2020-04-08T14:35:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。