論文の概要: DeepGD: A Multi-Objective Black-Box Test Selection Approach for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2303.04878v5
• Date: Thu, 29 Feb 2024 23:37:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-04 14:39:30.498296
• Title: DeepGD: A Multi-Objective Black-Box Test Selection Approach for Deep Neural Networks
• Title（参考訳）: DeepGD:ディープニューラルネットワークのための多目的ブラックボックステスト選択アプローチ
• Authors: Zohreh Aghababaeyan, Manel Abdellatif, Mahboubeh Dadkhah, Lionel Briand
• Abstract要約: DeepGDはディープニューラルネットワーク(DNN)のためのブラックボックス多目的テスト選択アプローチ 大規模なラベル付けされていないデータセットから高い障害を露呈するパワーでテスト入力の選択を優先順位付けすることで、ラベル付けのコストを低減します。
• 参考スコア（独自算出の注目度）: 0.6249768559720121
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) are widely used in various application domains such as image processing, speech recognition, and natural language processing. However, testing DNN models may be challenging due to the complexity and size of their input domain. Particularly, testing DNN models often requires generating or exploring large unlabeled datasets. In practice, DNN test oracles, which identify the correct outputs for inputs, often require expensive manual effort to label test data, possibly involving multiple experts to ensure labeling correctness. In this paper, we propose DeepGD, a black-box multi-objective test selection approach for DNN models. It reduces the cost of labeling by prioritizing the selection of test inputs with high fault revealing power from large unlabeled datasets. DeepGD not only selects test inputs with high uncertainty scores to trigger as many mispredicted inputs as possible but also maximizes the probability of revealing distinct faults in the DNN model by selecting diverse mispredicted inputs. The experimental results conducted on four widely used datasets and five DNN models show that in terms of fault-revealing ability: (1) White-box, coverage-based approaches fare poorly, (2) DeepGD outperforms existing black-box test selection approaches in terms of fault detection, and (3) DeepGD also leads to better guidance for DNN model retraining when using selected inputs to augment the training set.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、画像処理、音声認識、自然言語処理などの様々なアプリケーション領域で広く使われている。 しかし、DNNモデルのテストは、入力ドメインの複雑さとサイズのために難しいかもしれない。 特に、DNNモデルをテストするには、大きなラベルのないデータセットの生成や探索が必要となることが多い。 実際には、入力の正しい出力を識別するdnn test oracleは、テストデータのラベル付けに高価な手動作業を必要とすることが多い。 本稿では,DNNモデルに対するブラックボックス多目的テスト選択手法であるDeepGDを提案する。 大規模なラベル付けされていないデータセットから高い障害を露呈するパワーでテスト入力の選択を優先順位付けすることで、ラベル付けのコストを削減する。 DeepGDは、高い不確実性スコアを持つテスト入力を選択して、可能な限り多くの誤予測入力をトリガーするだけでなく、多様な誤予測入力を選択してDNNモデルに異なる障害を明らかにする確率を最大化する。 4つの広く使用されているデータセットと5つのDNNモデルで実施された実験結果から,(1)ホワイトボックス,カバレッジベースのアプローチは不十分,(2)DeepGDは既存のブラックボックステスト選択アプローチよりも優れた性能を示し,(3)DeepGDは,選択した入力を使用してトレーニングセットを増強する際のDNNモデルトレーニングのガイダンスも向上した。

関連論文リスト

• DeepSample: DNN sampling-based testing for operational accuracy assessment [12.029919627622954]
  ディープニューラルネットワーク(Deep Neural Networks, DNN)は、多くのソフトウェアシステムの分類および回帰タスクのコアコンポーネントである。 課題は、ラベリングコストを減らすために、可能な限り小さなテスト入力の代表的なセットを選択することである。 本研究では,費用対効果評価のためのDNNテスト技術のファミリーであるDeepSampleについて述べる。
  論文  参考訳（メタデータ） (2024-03-28T09:56:26Z)
• GOODAT: Towards Test-time Graph Out-of-Distribution Detection [103.40396427724667]
  グラフニューラルネットワーク(GNN)は、さまざまな領域にわたるグラフデータのモデリングに広く応用されている。 近年の研究では、特定のモデルのトレーニングや、よく訓練されたGNN上でのデータ修正に重点を置いて、OOD検出のグラフを調査している。 本稿では、GNNアーキテクチャのトレーニングデータと修正から独立して動作する、データ中心、教師なし、プラグアンドプレイのソリューションを提案する。
  論文  参考訳（メタデータ） (2024-01-10T08:37:39Z)
• D2 Pruning: Message Passing for Balancing Diversity and Difficulty in Data Pruning [70.98091101459421]
  コアセット選択は、トレーニングデータのサブセットを選択して、このサブセット(コアセットとも呼ばれる)でトレーニングされたモデルのパフォーマンスを最大化する。 コアセット選択のために,このデータセットグラフ上で前後のメッセージパッシングを利用する新しいプルーニングアルゴリズムD2プルーニングを提案する。 その結果、D2プルーニングは従来の最先端手法よりもコアセット選択を向上し、最大70%のプルーニングレートが得られた。
  論文  参考訳（メタデータ） (2023-10-11T23:01:29Z)
• Neuron Sensitivity Guided Test Case Selection for Deep Learning Testing [6.686765165569934]
  ディープニューラルネットワーク(DNN)は、様々なタスクに対処するために、ソフトウェアに広くデプロイされている。 DNN開発者は、自然界からリッチなラベル付きデータセットを収集し、DNNモデルをテストするためにラベル付けすることが多い。 ラベル付きデータセットから有意なテストケースを選択することで、ラベル付け時間を短縮できるNAS, Neuron Sensitivity guided test case Selectionを提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:36:04Z)
• Debiased Graph Neural Networks with Agnostic Label Selection Bias [59.61301255860836]
  既存のグラフニューラルネットワーク(GNN)のほとんどは、データの選択バイアスを考慮せずに提案されている。 本稿では,デコリレーションレギュレータを区別した新しいデバイアスドグラフニューラルネットワーク(DGNN)を提案する。 DGNNは既存のGNNを強化するフレキシブルなフレームワークである。
  論文  参考訳（メタデータ） (2022-01-19T16:50:29Z)
• Black-Box Testing of Deep Neural Networks through Test Case Diversity [1.4700751484033807]
  ブラックボックスの入力多様性指標を,ホワイトボックスのカバレッジ基準の代替として検討した。 実験により,テスト入力セットに埋め込まれた画像特徴の多様性に依存することが,カバレッジ基準よりも信頼性の高い指標であることが確認された。
  論文  参考訳（メタデータ） (2021-12-20T20:12:53Z)
• Semi-supervised deep learning based on label propagation in a 2D embedded space [117.9296191012968]
  提案されたソリューションは、少数の教師なしイメージから多数の教師なしイメージにラベルを伝達し、ディープニューラルネットワークモデルをトレーニングする。 本稿では、より正確なラベル付きサンプルを反復してセットから深層ニューラルネットワーク(VGG-16)をトレーニングするループを提案する。 ラベル付きセットがイテレーションに沿って改善されるにつれて、ニューラルネットワークの機能が改善される。
  論文  参考訳（メタデータ） (2020-08-02T20:08:54Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)
• SINVAD: Search-based Image Space Navigation for DNN Image Classifier Test Input Generation [0.0]
  ディープニューラルネットワーク(DNN)のテストは、安全クリティカルシステムで広く採用されているため、ますます重要になっている。 DNNの現在のテスト技術は、既存の入力に対する小さな局所摂動に依存している。 我々は,画像空間全体ではなく,真のトレーニング分布に類似した,妥当な入力空間を探索する新しい方法を提案する。
  論文  参考訳（メタデータ） (2020-05-19T09:06:21Z)
• Computing the Testing Error without a Testing Set [33.068870286618655]
  テストデータセットを必要としないトレーニングとテストの間のパフォーマンスギャップを推定するアルゴリズムを導出します。 これによって、アクセスできないサンプルでも、DNNのテストエラーを計算できます。
  論文  参考訳（メタデータ） (2020-05-01T15:35:50Z)
• GraN: An Efficient Gradient-Norm Based Detector for Adversarial and Misclassified Examples [77.99182201815763]
  ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。 GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。 GraNは多くの問題セットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-04-20T10:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。