論文の概要: Black-Box Testing of Deep Neural Networks through Test Case Diversity
- arxiv url: http://arxiv.org/abs/2112.12591v1
- Date: Mon, 20 Dec 2021 20:12:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-24 14:58:08.155007
- Title: Black-Box Testing of Deep Neural Networks through Test Case Diversity
- Title（参考訳）: テストケース多様性によるディープニューラルネットワークのブラックボックステスト
- Authors: Zohreh Aghababaeyan, Manel Abdellatif, Lionel Briand, Ramesh S, and
Mojtaba Bagherzadeh
- Abstract要約: ブラックボックスの入力多様性指標を,ホワイトボックスのカバレッジ基準の代替として検討した。
実験により,テスト入力セットに埋め込まれた画像特徴の多様性に依存することが,カバレッジ基準よりも信頼性の高い指標であることが確認された。
- 参考スコア（独自算出の注目度）: 1.4700751484033807
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Neural Networks (DNNs) have been extensively used in many areas
including image processing, medical diagnostics, and autonomous driving.
However, DNNs can exhibit erroneous behaviours that may lead to critical
errors, especially when used in safety-critical systems. Inspired by testing
techniques for traditional software systems, researchers have proposed neuron
coverage criteria, as an analogy to source code coverage, to guide the testing
of DNN models. Despite very active research on DNN coverage, several recent
studies have questioned the usefulness of such criteria in guiding DNN testing.
Further, from a practical standpoint, these criteria are white-box as they
require access to the internals or training data of DNN models, which is in
many contexts not feasible or convenient. In this paper, we investigate
black-box input diversity metrics as an alternative to white-box coverage
criteria. To this end, we first select and adapt three diversity metrics and
study, in a controlled manner, their capacity to measure actual diversity in
input sets. We then analyse their statistical association with fault detection
using two datasets and three DNN models. We further compare diversity with
state-of-the-art white-box coverage criteria. Our experiments show that relying
on the diversity of image features embedded in test input sets is a more
reliable indicator than coverage criteria to effectively guide the testing of
DNNs. Indeed, we found that one of our selected black-box diversity metrics far
outperforms existing coverage criteria in terms of fault-revealing capability
and computational time. Results also confirm the suspicions that
state-of-the-art coverage metrics are not adequate to guide the construction of
test input sets to detect as many faults as possible with natural inputs.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、画像処理、医療診断、自動運転など、多くの分野で広く利用されている。
しかし、DNNは、特に安全クリティカルシステムで使用される場合、重大なエラーを引き起こす可能性のある誤動作を示す可能性がある。
従来のソフトウェアシステムのテスト技術に触発されて、研究者はDNNモデルのテストのガイドとして、ソースコードカバレッジに類似したニューロンカバレッジ基準を提案した。
DNNのカバレッジに関する非常に活発な研究にもかかわらず、近年のいくつかの研究は、DNNテストの指針となる基準の有用性を疑問視している。
さらに、現実的な観点からは、これらの基準は、DNNモデルの内部や訓練データへのアクセスを必要とするため、ホワイトボックスである。
本稿では,ホワイトボックスのカバレッジ基準に代わるブラックボックス入力の多様性指標について検討する。
この目的のために,我々はまず3つの多様性指標を選択・適応し,入力セットの実際の多様性を計測する能力について検討する。
次に,2つのデータセットと3つのDNNモデルを用いて,断層検出の統計的関連を分析する。
さらに多様性を最先端のホワイトボックスカバレッジ基準と比較する。
実験の結果,テスト入力セットに埋め込まれた画像特徴の多様性に依存することは,DNNの検査を効果的に導くためのカバレッジ基準よりも信頼性の高い指標であることが示唆された。
実際、我々の選択したブラックボックスの多様性指標の1つは、フォールトリーベイリング能力や計算時間の観点から、既存のカバレッジ基準よりもはるかに優れています。
結果、最先端のカバレッジメトリクスは、自然入力で可能な限り多くの障害を検出するテスト入力セットの構築を導くのに不十分である、という疑念も確認できた。
関連論文リスト
- Robust Black-box Testing of Deep Neural Networks using Co-Domain Coverage [18.355332126489756]
信頼できるデプロイメントには、マシンラーニングモデルの厳格なテストが必要です。
我々は、ディープニューラルネットワーク(DNN)の堅牢なテストのためのテストスーツを生成するための新しいブラックボックスアプローチを提案する。
論文 参考訳（メタデータ） (2024-08-13T09:42:57Z) - Rethinking Diversity in Deep Neural Network Testing [25.641743200458382]
深層ニューラルネットワーク(DNN)のテストにおける視点の変化を提案する。
我々は、多様性に基づくテストタスクよりも、指向的なテスト問題としてDNNテストを考えることを提唱する。
評価の結果, 多様性指標は, 入力の摂動が小さいことによるバギーな入力を識別する指標として特に弱いことが示唆された。
論文 参考訳（メタデータ） (2023-05-25T04:13:51Z) - D-Score: A White-Box Diagnosis Score for CNNs Based on Mutation
Operators [8.977819892091]
畳み込みニューラルネットワーク(CNN)は、自律運転や診断など、多くの安全クリティカルな領域に広く応用されている。
そこで本研究では,変異演算子と画像変換を用いたホワイトボックス診断手法を提案する。
また,D-Scoreに基づくデータ拡張手法を提案し,CNNの性能を翻訳や再スケーリングに拡張する。
論文 参考訳（メタデータ） (2023-04-03T03:13:59Z) - DeepGD: A Multi-Objective Black-Box Test Selection Approach for Deep
Neural Networks [0.6249768559720121]
DeepGDはディープニューラルネットワーク(DNN)のためのブラックボックス多目的テスト選択アプローチ
大規模なラベル付けされていないデータセットから高い障害を露呈するパワーでテスト入力の選択を優先順位付けすることで、ラベル付けのコストを低減します。
論文 参考訳（メタデータ） (2023-03-08T20:33:09Z) - The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳（メタデータ） (2023-01-17T18:32:01Z) - An Overview of Structural Coverage Metrics for Testing Neural Networks [15.75167816958815]
ディープニューラルネットワーク(DNN)モデルは、さまざまなシナリオで確実に機能するように、徹底的にテストする必要がある。
我々は、DNNモデルをテストするための構造的カバレッジ指標について概説する。例えば、ニューロンカバレッジ(NC)、kマルチセクションニューロンカバレッジ(kMNC)、トップkニューロンカバレッジ(TKNC)、ニューロン境界カバレッジ(NBC)、強いニューロンアクティベーションカバレッジ(SNAC)、修正条件/決定カバレッジ(MC/DC)である。
また、これらのメトリクスに対するテストカバレッジを測定するツールであるDNNCovも提供しています。
論文 参考訳（メタデータ） (2022-08-05T23:37:04Z) - Debiased Graph Neural Networks with Agnostic Label Selection Bias [59.61301255860836]
既存のグラフニューラルネットワーク(GNN)のほとんどは、データの選択バイアスを考慮せずに提案されている。
本稿では,デコリレーションレギュレータを区別した新しいデバイアスドグラフニューラルネットワーク(DGNN)を提案する。
DGNNは既存のGNNを強化するフレキシブルなフレームワークである。
論文 参考訳（メタデータ） (2022-01-19T16:50:29Z) - Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks [55.531896312724555]
ベイジアンネットワーク(BNN)は、ランダム性を組み込むことで、敵の攻撃を扱うのに頑丈で適している。
我々はベイズ的推論(つまり変分ベイズ)をDenseNetアーキテクチャに融合させることで、BNN-DenseNetと呼ばれるBNNモデルを作成する。
逆向きに訓練されたBNNは、ほとんどの実験で非ベイズ的で逆向きに訓練されたBNNよりも優れています。
論文 参考訳（メタデータ） (2021-11-16T16:14:44Z) - BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by
Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。
結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文 参考訳（メタデータ） (2021-03-14T20:43:19Z) - Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。
DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。
コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
論文 参考訳（メタデータ） (2020-06-30T14:56:05Z) - GraN: An Efficient Gradient-Norm Based Detector for Adversarial and
Misclassified Examples [77.99182201815763]
ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。
GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。
GraNは多くの問題セットで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-04-20T10:09:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。