論文の概要: DiffGAN: A Test Generation Approach for Differential Testing of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2410.19794v1
• Date: Tue, 15 Oct 2024 23:49:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-03 08:20:17.104954
• Title: DiffGAN: A Test Generation Approach for Differential Testing of Deep Neural Networks
• Title（参考訳）: DiffGAN:ディープニューラルネットワークの差分テストのためのテスト生成アプローチ
• Authors: Zohreh Aghababaeyan, Manel Abdellatif, Lionel Briand, Ramesh S,
• Abstract要約: DiffGANはディープニューラルネットワーク(DNN)の差分テストのためのブラックボックステスト画像生成手法である それは多様で有効なトリガー入力を生成し、モデル間の振る舞いの相違を明らかにする。 その結果、DiffGANはSOTAベースラインを著しく上回り、同じ予算内で4倍のインプットをトリガーし、多様性と妥当性が向上した。
• 参考スコア（独自算出の注目度）: 0.30292136896203486
• License:
• Abstract: Deep Neural Networks (DNNs) are increasingly deployed across applications. However, ensuring their reliability remains a challenge, and in many situations, alternative models with similar functionality and accuracy are available. Traditional accuracy-based evaluations often fail to capture behavioral differences between models, especially with limited test datasets, making it difficult to select or combine models effectively. Differential testing addresses this by generating test inputs that expose discrepancies in DNN model behavior. However, existing approaches face significant limitations: many rely on model internals or are constrained by available seed inputs. To address these challenges, we propose DiffGAN, a black-box test image generation approach for differential testing of DNN models. DiffGAN leverages a Generative Adversarial Network (GAN) and the Non-dominated Sorting Genetic Algorithm II to generate diverse and valid triggering inputs that reveal behavioral discrepancies between models. DiffGAN employs two custom fitness functions, focusing on diversity and divergence, to guide the exploration of the GAN input space and identify discrepancies between models' outputs. By strategically searching this space, DiffGAN generates inputs with specific features that trigger differences in model behavior. DiffGAN is black-box, making it applicable in more situations. We evaluate DiffGAN on eight DNN model pairs trained on widely used image datasets. Our results show DiffGAN significantly outperforms a SOTA baseline, generating four times more triggering inputs, with greater diversity and validity, within the same budget. Additionally, the generated inputs improve the accuracy of a machine learning-based model selection mechanism, which selects the best-performing model based on input characteristics and can serve as a smart output voting mechanism when using alternative models.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、アプリケーションにまたがってますます多くデプロイされている。 しかし、信頼性を確保することは依然として課題であり、多くの状況では、同様の機能と精度を持つ代替モデルが利用可能である。 従来の精度に基づく評価は、特に限られたテストデータセットで、モデル間の振る舞いの違いを捉えるのに失敗することが多いため、モデルを効果的に選択または組み合わせすることは困難である。 差分テストは、DNNモデルの振る舞いの相違を露呈するテストインプットを生成することで、この問題に対処する。 多くはモデル内部に依存しているか、利用可能なシードインプットによって制約されている。 これらの課題に対処するために、DNNモデルの差分テストのためのブラックボックステスト画像生成手法であるDiffGANを提案する。 DiffGANはGAN(Generative Adversarial Network)とNon-dominated Sorting Genetic Algorithm IIを利用して、モデル間の振る舞いの相違を明らかにする多様で有効なトリガー入力を生成する。 DiffGANは、GAN入力空間の探索をガイドし、モデル出力間の相違を識別するために、多様性とばらつきに焦点を当てた2つのカスタムフィットネス機能を採用している。 この空間を戦略的に探索することで、DiffGANは特定の特徴を持つ入力を生成し、モデルの振る舞いの違いを引き起こす。 DiffGANはブラックボックスであり、より多くの状況に適用できる。 我々は、広く使われている画像データセットに基づいて訓練された8つのDNNモデルペアに対してDiffGANを評価する。 その結果、DiffGANはSOTAベースラインを著しく上回り、同じ予算内で4倍のインプットをトリガーし、多様性と妥当性が向上した。 さらに、生成された入力は、入力特性に基づいて最高のパフォーマンスモデルを選択する機械学習ベースのモデル選択機構の精度を改善し、代替モデルを使用する際のスマート出力投票機構として機能する。

関連論文リスト

• BEND: Bagging Deep Learning Training Based on Efficient Neural Network Diffusion [56.9358325168226]
  BEND(Efficient Neural Network Diffusion)に基づくバッグング深層学習学習アルゴリズムを提案する。 我々のアプローチは単純だが効果的であり、まず複数のトレーニングされたモデルの重みとバイアスを入力として、オートエンコーダと潜伏拡散モデルを訓練する。 提案したBENDアルゴリズムは,元のトレーニングモデルと拡散モデルの両方の平均および中央値の精度を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2024-03-23T08:40:38Z)
• Diffusion-TTA: Test-time Adaptation of Discriminative Models via Generative Feedback [97.0874638345205]
  生成モデルは、識別モデルのための優れたテストタイムアダプタになり得る。 提案手法であるDiffusion-TTAは,事前学習した判別モデルを,テストセットの各未学習例に適応させる。 拡散-TTAは,様々な大規模事前学習型判別モデルの精度を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2023-11-27T18:59:53Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Improving Out-of-Distribution Robustness of Classifiers via Generative Interpolation [56.620403243640396]
  ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。 しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。 多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
  論文  参考訳（メタデータ） (2023-07-23T03:53:53Z)
• DuDGAN: Improving Class-Conditional GANs via Dual-Diffusion [2.458437232470188]
  GAN(Generative Adversarial Network)を用いたクラス条件画像生成について,様々な手法を用いて検討した。 本稿では,DuDGANと呼ばれる2次元拡散型ノイズ注入法を取り入れたGANを用いたクラス条件画像生成手法を提案する。 提案手法は,画像生成のための現状条件付きGANモデルよりも性能的に優れている。
  論文  参考訳（メタデータ） (2023-05-24T07:59:44Z)
• A Statistical-Modelling Approach to Feedforward Neural Network Model Selection [0.8287206589886881]
  フィードフォワードニューラルネットワーク(FNN)は非線形回帰モデルと見なすことができる。 FNNのためのベイズ情報基準(BIC)を用いて,新しいモデル選択法を提案する。 サンプル外性能よりもBICを選択することは、真のモデルを回復する確率を増大させる。
  論文  参考訳（メタデータ） (2022-07-09T11:07:04Z)
• Characterizing and Understanding the Behavior of Quantized Models for Reliable Deployment [32.01355605506855]
  量子化対応トレーニングは、標準、逆数、ミックスアップトレーニングよりも安定したモデルを生成することができる。 診断は、しばしばトップ1とトップ2の出力確率に近づき、$Margin$は、相違点を区別する他の不確実性指標よりも優れた指標である。 我々は、量子化されたモデルをさらに研究するための新しいベンチマークとして、コードとモデルをオープンソース化した。
  論文  参考訳（メタデータ） (2022-04-08T11:19:16Z)
• Labeling-Free Comparison Testing of Deep Learning Models [28.47632100019289]
  本研究では,ラベリング作業の限界を克服し,ランダム性をサンプリングするためのラベリングフリー比較試験手法を提案する。 提案手法は,データセットや分布シフトに関わらず,Spearmanの相関値とKendallの$tau$に対して,最大0.74および0.53のベースライン手法より優れている。
  論文  参考訳（メタデータ） (2022-04-08T10:55:45Z)
• on the effectiveness of generative adversarial network on anomaly detection [1.6244541005112747]
  GANは、実際のトレーニング分布を特定するために、これらのモデルのリッチなコンテキスト情報に依存している。 本稿では,自動エンコーダとGANを組み合わせた新しい教師なしモデルを提案する。 識別器の内部表現と生成器の視覚表現の線形結合と、オートエンコーダの符号化表現とを組み合わせて、提案した異常スコアを定義する。
  論文  参考訳（メタデータ） (2021-12-31T16:35:47Z)
• Selecting Treatment Effects Models for Domain Adaptation Using Causal Knowledge [82.5462771088607]
  監視されていないドメイン適応設定下でITE法用に特別に設計された新しいモデル選択メトリックを提案する。 特に,介入効果の予測が対象領域の既知の因果構造を満たすモデルを選択することを提案する。
  論文  参考訳（メタデータ） (2021-02-11T21:03:14Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。