論文の概要: Robust Black-box Testing of Deep Neural Networks using Co-Domain Coverage
- arxiv url: http://arxiv.org/abs/2408.06766v1
- Date: Tue, 13 Aug 2024 09:42:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 17:56:13.636946
- Title: Robust Black-box Testing of Deep Neural Networks using Co-Domain Coverage
- Title（参考訳）: 共ドメイン被覆を用いた深部ニューラルネットワークのロバストブラックボックス試験
- Authors: Aishwarya Gupta, Indranil Saha, Piyush Rai,
- Abstract要約: 信頼できるデプロイメントには、マシンラーニングモデルの厳格なテストが必要です。
我々は、ディープニューラルネットワーク(DNN)の堅牢なテストのためのテストスーツを生成するための新しいブラックボックスアプローチを提案する。
- 参考スコア（独自算出の注目度）: 18.355332126489756
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Rigorous testing of machine learning models is necessary for trustworthy deployments. We present a novel black-box approach for generating test-suites for robust testing of deep neural networks (DNNs). Most existing methods create test inputs based on maximizing some "coverage" criterion/metric such as a fraction of neurons activated by the test inputs. Such approaches, however, can only analyze each neuron's behavior or each layer's output in isolation and are unable to capture their collective effect on the DNN's output, resulting in test suites that often do not capture the various failure modes of the DNN adequately. These approaches also require white-box access, i.e., access to the DNN's internals (node activations). We present a novel black-box coverage criterion called Co-Domain Coverage (CDC), which is defined as a function of the model's output and thus takes into account its end-to-end behavior. Subsequently, we develop a new fuzz testing procedure named CoDoFuzz, which uses CDC to guide the fuzzing process to generate a test suite for a DNN. We extensively compare the test suite generated by CoDoFuzz with those generated using several state-of-the-art coverage-based fuzz testing methods for the DNNs trained on six publicly available datasets. Experimental results establish the efficiency and efficacy of CoDoFuzz in generating the largest number of misclassified inputs and the inputs for which the model lacks confidence in its decision.
- Abstract（参考訳）: 信頼できるデプロイメントには、マシンラーニングモデルの厳格なテストが必要です。
本稿では,ディープニューラルネットワーク(DNN)の堅牢なテストのためのテストスイートを生成するための,新しいブラックボックスアプローチを提案する。
既存のほとんどの方法は、テスト入力によって活性化されるニューロンの分数など、いくつかの"カバレッジ"基準/メトリックを最大化するテスト入力を生成する。
しかしながら、このようなアプローチは、各ニューロンの振る舞いや各レイヤの出力を独立して分析することしかできず、DNNの出力に対してそれらの集団的効果を捉えることができないため、しばしばDNNの様々な障害モードを適切に捉えないテストスイートが生成される。
これらのアプローチはまた、ホワイトボックスアクセス、すなわちDNNの内部(ノードのアクティベーション)へのアクセスを必要とする。
本稿では,モデル出力の関数として定義され,そのエンド・ツー・エンドの振る舞いを考慮に入れた,新しいブラックボックスカバレッジ基準であるコドメインカバレッジ(CDC)を提案する。
その後、CDCを用いてファジィングプロセスをガイドし、DNN用のテストスイートを生成する、CoDoFuzzと呼ばれる新しいファジィテスト手順を開発した。
我々は、CoDoFuzzが生成したテストスイートを、6つの公開データセットでトレーニングされたDNNに対して、最先端のカバレッジベースのファジテスト手法を用いて生成されたものと比較した。
実験結果から,CoDoFuzzの誤分類入力の最大数と,その決定に対する信頼性に欠ける入力の効率性と有効性が確認された。
関連論文リスト
- GIST: Generated Inputs Sets Transferability in Deep Learning [12.147546375400749]
GIST(Generated Inputs Sets Transferability)は、テストセットの効率的な転送のための新しいアプローチである。
本稿では,テストセットの効率的な転送のための新しいアプローチであるGISTを紹介する。
論文 参考訳（メタデータ） (2023-11-01T19:35:18Z) - DeepGD: A Multi-Objective Black-Box Test Selection Approach for Deep
Neural Networks [0.6249768559720121]
DeepGDはディープニューラルネットワーク(DNN)のためのブラックボックス多目的テスト選択アプローチ
大規模なラベル付けされていないデータセットから高い障害を露呈するパワーでテスト入力の選択を優先順位付けすることで、ラベル付けのコストを低減します。
論文 参考訳（メタデータ） (2023-03-08T20:33:09Z) - The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳（メタデータ） (2023-01-17T18:32:01Z) - Boosted Dynamic Neural Networks [53.559833501288146]
典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。
モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。
トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。
EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
論文 参考訳（メタデータ） (2022-11-30T04:23:12Z) - TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。
ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
論文 参考訳（メタデータ） (2022-05-18T05:43:06Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Black-Box Testing of Deep Neural Networks through Test Case Diversity [1.4700751484033807]
ブラックボックスの入力多様性指標を,ホワイトボックスのカバレッジ基準の代替として検討した。
実験により,テスト入力セットに埋め込まれた画像特徴の多様性に依存することが,カバレッジ基準よりも信頼性の高い指標であることが確認された。
論文 参考訳（メタデータ） (2021-12-20T20:12:53Z) - DAAIN: Detection of Anomalous and Adversarial Input using Normalizing
Flows [52.31831255787147]
我々は、アウト・オブ・ディストリビューション(OOD)インプットと敵攻撃(AA)を検出する新しい手法であるDAINを導入する。
本手法は,ニューラルネットワークの内部動作を監視し,活性化分布の密度推定器を学習する。
当社のモデルは,特別なアクセラレータを必要とせずに,効率的な計算とデプロイが可能な単一のGPUでトレーニングすることが可能です。
論文 参考訳（メタデータ） (2021-05-30T22:07:13Z) - Distribution-Aware Testing of Neural Networks Using Generative Models [5.618419134365903]
ディープニューラルネットワーク(DNN)をコンポーネントとして持つソフトウェアの信頼性は、緊急に重要である。
最近の3つのテスト手法が, かなりの数の不正なテスト入力を生成することを示す。
テスト生成プロセスにおいて,テスト中のDNNモデルの有効な入力空間を組み込む手法を提案する。
論文 参考訳（メタデータ） (2021-02-26T17:18:21Z) - Computing the Testing Error without a Testing Set [33.068870286618655]
テストデータセットを必要としないトレーニングとテストの間のパフォーマンスギャップを推定するアルゴリズムを導出します。
これによって、アクセスできないサンプルでも、DNNのテストエラーを計算できます。
論文 参考訳（メタデータ） (2020-05-01T15:35:50Z) - Noisy Adaptive Group Testing using Bayesian Sequential Experimental
Design [63.48989885374238]
病気の感染頻度が低い場合、Dorfman氏は80年前に、人のテストグループは個人でテストするよりも効率が良いことを示した。
本研究の目的は,ノイズの多い環境で動作可能な新しいグループテストアルゴリズムを提案することである。
論文 参考訳（メタデータ） (2020-04-26T23:41:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。