論文の概要: Distribution-Aware Testing of Neural Networks Using Generative Models
- arxiv url: http://arxiv.org/abs/2102.13602v1
- Date: Fri, 26 Feb 2021 17:18:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-01 15:55:49.574147
- Title: Distribution-Aware Testing of Neural Networks Using Generative Models
- Title（参考訳）: 生成モデルを用いたニューラルネットワークの分布認識テスト
- Authors: Swaroopa Dola, Matthew B. Dwyer, Mary Lou Soffa
- Abstract要約: ディープニューラルネットワーク(DNN)をコンポーネントとして持つソフトウェアの信頼性は、緊急に重要である。
最近の3つのテスト手法が, かなりの数の不正なテスト入力を生成することを示す。
テスト生成プロセスにおいて,テスト中のDNNモデルの有効な入力空間を組み込む手法を提案する。
- 参考スコア（独自算出の注目度）: 5.618419134365903
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The reliability of software that has a Deep Neural Network (DNN) as a
component is urgently important today given the increasing number of critical
applications being deployed with DNNs. The need for reliability raises a need
for rigorous testing of the safety and trustworthiness of these systems. In the
last few years, there have been a number of research efforts focused on testing
DNNs. However the test generation techniques proposed so far lack a check to
determine whether the test inputs they are generating are valid, and thus
invalid inputs are produced. To illustrate this situation, we explored three
recent DNN testing techniques. Using deep generative model based input
validation, we show that all the three techniques generate significant number
of invalid test inputs. We further analyzed the test coverage achieved by the
test inputs generated by the DNN testing techniques and showed how invalid test
inputs can falsely inflate test coverage metrics.
To overcome the inclusion of invalid inputs in testing, we propose a
technique to incorporate the valid input space of the DNN model under test in
the test generation process. Our technique uses a deep generative model-based
algorithm to generate only valid inputs. Results of our empirical studies show
that our technique is effective in eliminating invalid tests and boosting the
number of valid test inputs generated.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)をコンポーネントとして持つソフトウェアの信頼性は、DNNでデプロイされる重要なアプリケーションの数が増加しているため、今日では緊急に重要です。
信頼性の必要性は、これらのシステムの安全性と信頼性を厳密にテストする必要がある。
ここ数年、DNNのテストに焦点を当てた多くの研究が行われています。
しかし、これまでに提案されたテスト生成技術は、それらが生成するテスト入力が有効であるかどうかのチェックを欠いており、したがって無効な入力が生成される。
この状況を説明するために、我々は3つの最近のDNNテスト技術を検討した。
ディープジェネレーティブモデルに基づく入力検証を用いて,3つの手法がいずれも相当数の無効なテスト入力を生成することを示した。
dnnテスト技術によって生成されたテストインプットによって得られたテストカバレッジをさらに分析し、不正なテストインプットがテストカバレッジメトリクスを誤って膨らませる方法を示した。
テストにおける無効な入力の包含を克服するために、テスト生成プロセスにテスト中のDNNモデルの有効な入力空間を組み込む手法を提案する。
本手法では,モデルに基づく深層生成アルゴリズムを用いて有効な入力のみを生成する。
実証実験の結果,本手法は無効なテストの排除と有効なテスト入力数の増加に有効であることが示された。
関連論文リスト
- Robust Black-box Testing of Deep Neural Networks using Co-Domain Coverage [18.355332126489756]
信頼できるデプロイメントには、マシンラーニングモデルの厳格なテストが必要です。
我々は、ディープニューラルネットワーク(DNN)の堅牢なテストのためのテストスーツを生成するための新しいブラックボックスアプローチを提案する。
論文 参考訳（メタデータ） (2024-08-13T09:42:57Z) - Test Generation Strategies for Building Failure Models and Explaining
Spurious Failures [4.995172162560306]
テスト入力は、テスト対象のシステムが故障している場合だけでなく、入力が無効または非現実的である場合も失敗する。
テストインプットに対して解釈可能なルールを推論し,重大な障害を引き起こす障害モデルを構築することを提案する。
提案手法は, 平均精度83%の故障モデルを生成する。
論文 参考訳（メタデータ） (2023-12-09T18:36:15Z) - GIST: Generated Inputs Sets Transferability in Deep Learning [12.147546375400749]
GIST(Generated Inputs Sets Transferability)は、テストセットの効率的な転送のための新しいアプローチである。
本稿では,テストセットの効率的な転送のための新しいアプローチであるGISTを紹介する。
論文 参考訳（メタデータ） (2023-11-01T19:35:18Z) - The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳（メタデータ） (2023-01-17T18:32:01Z) - Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳（メタデータ） (2022-11-29T13:32:38Z) - TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。
また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
論文 参考訳（メタデータ） (2022-09-23T07:47:33Z) - Generating and Detecting True Ambiguity: A Forgotten Danger in DNN
Supervision Testing [8.210473195536077]
本稿では,Deep Neural Networks (DNN) テストのための不明瞭な入力を生成する新しい手法を提案する。
特に,画像分類問題に対するあいまいなサンプルを生成するために,AmbiGuessを提案する。
真のあいまいさを検出するのに最も適した人は、無効、アウト・オブ・ディストリビューション、逆入力および逆逆入力において、より悪い結果が得られます。
論文 参考訳（メタデータ） (2022-07-21T14:21:34Z) - TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。
ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
論文 参考訳（メタデータ） (2022-05-18T05:43:06Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z) - SINVAD: Search-based Image Space Navigation for DNN Image Classifier
Test Input Generation [0.0]
ディープニューラルネットワーク(DNN)のテストは、安全クリティカルシステムで広く採用されているため、ますます重要になっている。
DNNの現在のテスト技術は、既存の入力に対する小さな局所摂動に依存している。
我々は,画像空間全体ではなく,真のトレーニング分布に類似した,妥当な入力空間を探索する新しい方法を提案する。
論文 参考訳（メタデータ） (2020-05-19T09:06:21Z) - GraN: An Efficient Gradient-Norm Based Detector for Adversarial and
Misclassified Examples [77.99182201815763]
ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。
GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。
GraNは多くの問題セットで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-04-20T10:09:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。