論文の概要: Many-Objective Search-Based Coverage-Guided Automatic Test Generation for Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2411.01033v1
- Date: Fri, 01 Nov 2024 21:08:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-05 14:50:19.280281
- Title: Many-Objective Search-Based Coverage-Guided Automatic Test Generation for Deep Neural Networks
- Title(参考訳): 深部ニューラルネットワークのための多目的探索ベースカバレッジ誘導型自動テスト生成
- Authors: Dongcheng Li, W. Eric Wong, Hu Liu, Man Zhao,
- Abstract要約: 本稿では,多目的最適化アルゴリズムに基づくファジングテスト生成手法を提案する。
周波数ベースのファズサンプリング戦略は、初期データの選択頻度に基づいて優先順位を割り当てる。
アルゴリズムの局所探索能力を高めるため,モンテカルロ木探索に基づく局所探索戦略を提案する。
- 参考スコア(独自算出の注目度): 2.141511605027007
- License:
- Abstract: To ensure the reliability of DNN systems and address the test generation problem for neural networks, this paper proposes a fuzzing test generation technique based on many-objective optimization algorithms. Traditional fuzz testing employs random search, leading to lower testing efficiency and tends to generate numerous invalid test cases. By utilizing many-objective optimization techniques, effective test cases can be generated. To achieve high test coverage, this paper proposes several improvement strategies. The frequency-based fuzz sampling strategy assigns priorities based on the frequency of selection of initial data, avoiding the repetitive selection of the same data and enhancing the quality of initial data better than random sampling strategies. To address the issue that global search may yield test not satisfying semantic constraints, a local search strategy based on the Monte Carlo tree search is proposed to enhance the algorithm's local search capabilities. Furthermore, we improve the diversity of the population and the algorithm's global search capability by updating SPEA2's external archive based on a decomposition-based archiving strategy. To validate the effectiveness of the proposed approach, experiments were conducted on several public datasets and various neural network models. The results reveal that, compared to random and clustering-based sampling, the frequency-based fuzz sampling strategy provides a greater improvement in coverage rate in the later stages of iterations. On complex networks like VGG16, the improved SPEA2 algorithm increased the coverage rate by about 12% across several coverage metrics, and by approximately 40% on LeNet series networks. The experimental results also indicates that the newly generated test cases not only exhibit higher coverage rates but also generate adversarial samples that reveal model errors.
- Abstract(参考訳): 本稿では,DNNシステムの信頼性を確保し,ニューラルネットワークのテスト生成問題に対処するため,多目的最適化アルゴリズムに基づくファジングテスト生成手法を提案する。
従来のファズテストではランダム検索を採用しており、テスト効率が低下し、多数の不正なテストケースが生成される傾向にある。
多目的最適化技術を利用することで、効果的なテストケースを生成することができる。
本稿では,高いテストカバレッジを実現するために,いくつかの改善戦略を提案する。
周波数ベースのファズサンプリング戦略は、初期データ選択の頻度に基づいて優先順位を割り当て、同一データの繰り返し選択を回避し、ランダムサンプリング戦略よりも初期データの品質を向上させる。
グローバル検索が意味的制約を満たさないテストをもたらすという問題に対処するために,モンテカルロ木探索に基づく局所探索戦略を提案し,アルゴリズムの局所探索能力を向上させる。
さらに、分解に基づくアーカイブ戦略に基づいてSPEA2の外部アーカイブを更新することにより、人口の多様性とアルゴリズムのグローバル検索能力を向上させる。
提案手法の有効性を検証するため,複数の公開データセットと各種ニューラルネットワークモデルを用いて実験を行った。
その結果, 乱数およびクラスタリングに基づくサンプリングと比較して, 周波数ベースのファズサンプリング戦略は, 繰り返しの後半において, カバー率の向上をもたらすことがわかった。
VGG16のような複雑なネットワークでは、改良されたSPEA2アルゴリズムは、いくつかのカバレッジメトリクスで約12%、LeNetシリーズネットワークでは約40%のカバレッジ率を向上した。
また, 新たに生成した試験ケースは, 高い被曝率を示すだけでなく, モデル誤差を呈する逆検サンプルも生成することを示した。
関連論文リスト
- Reproduction of scan B-statistic for kernel change-point detection algorithm [10.49860279555873]
変化点検出は、幅広い応用のために大きな注目を集めている。
本稿では,カーネルベースの効率的なスキャンB統計に基づくオンライン変更点検出アルゴリズムを最近提案した。
数値実験により, 走査型B統計が常に優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2024-08-23T15:12:31Z) - Provably Neural Active Learning Succeeds via Prioritizing Perplexing Samples [53.95282502030541]
ニューラルネットワークベースのアクティブラーニング(NAL)は、ニューラルネットワークを使用してサンプルの小さなサブセットを選択してトレーニングする、費用対効果の高いデータ選択技術である。
我々は、機能学習の観点から、両方のクエリ基準ベースのNALの成功について、統一的な説明を提供することにより、一歩前進させようとする。
論文 参考訳(メタデータ) (2024-06-06T10:38:01Z) - Towards Automated Imbalanced Learning with Deep Hierarchical
Reinforcement Learning [57.163525407022966]
不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。
オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。
我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
論文 参考訳(メタデータ) (2022-08-26T04:28:01Z) - Listen, Adapt, Better WER: Source-free Single-utterance Test-time
Adaptation for Automatic Speech Recognition [65.84978547406753]
Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。
単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
論文 参考訳(メタデータ) (2022-03-27T06:38:39Z) - Machine Learning Testing in an ADAS Case Study Using
Simulation-Integrated Bio-Inspired Search-Based Testing [7.5828169434922]
Deeperは、ディープニューラルネットワークベースの車線保持システムをテストするための障害検出テストシナリオを生成する。
新たに提案されたバージョンでは、新しいバイオインスパイアされた検索アルゴリズム、遺伝的アルゴリズム(GA)、$(mu+lambda)$および$(mu,lambda)$進化戦略(ES)、およびParticle Swarm Optimization(PSO)を利用する。
評価の結果,Deeperで新たに提案したテストジェネレータは,以前のバージョンよりも大幅に改善されている。
論文 参考訳(メタデータ) (2022-03-22T20:27:40Z) - Hybridization of Capsule and LSTM Networks for unsupervised anomaly
detection on multivariate data [0.0]
本稿では,Long-Short-Term-Memory(LSTM)とCapsule Networksを1つのネットワークに結合した新しいNNアーキテクチャを提案する。
提案手法は教師なし学習手法を用いて大量のラベル付きトレーニングデータを見つける際の問題を克服する。
論文 参考訳(メタデータ) (2022-02-11T10:33:53Z) - Active Learning-Based Optimization of Scientific Experimental Design [1.9705094859539976]
Active Learning(AL)は、ラベル付きトレーニングインスタンスを少なくすることで、より精度の高い機械学習アルゴリズムである。
本稿では,提案したALスキームを用いた薬物応答データセットの振り返り研究を行う。
これは、手動で設定するのではなく、科学的な実験設計がALによって最適化可能であることを示している。
論文 参考訳(メタデータ) (2021-12-29T20:02:35Z) - Local policy search with Bayesian optimization [73.0364959221845]
強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。
局所探索のための政策勾配は、しばしばランダムな摂動から得られる。
目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
論文 参考訳(メタデータ) (2021-06-22T16:07:02Z) - Ensemble Wrapper Subsampling for Deep Modulation Classification [70.91089216571035]
受信した無線信号のサブサンプリングは、ハードウェア要件と信号処理アルゴリズムの計算コストを緩和するために重要である。
本稿では,無線通信システムにおけるディープラーニングを用いた自動変調分類のためのサブサンプリング手法を提案する。
論文 参考訳(メタデータ) (2020-05-10T06:11:13Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳(メタデータ) (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。