論文の概要: Towards Assessing Deep Learning Test Input Generators

• arxiv url: http://arxiv.org/abs/2504.02329v2
• Date: Mon, 07 Apr 2025 18:35:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 10:05:16.055120
• Title: Towards Assessing Deep Learning Test Input Generators
• Title（参考訳）: ディープラーニングテスト入力ジェネレータの評価に向けて
• Authors: Seif Mzoughi, Ahmed Haj yahmed, Mohamed Elshafei, Foutse Khomh, Diego Elias Costa,
• Abstract要約: 本稿では,TIG(State-of-the-art Test Input Generators)の総合評価について述べる。 この結果から,TIG間の堅牢性,テストケース生成のばらつき,計算効率などの重要なトレードオフが明らかになった。 本稿では,特定の目的やデータセットの特徴に適合した適切なTIGを選択するための実践的ガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 10.05882029297834
• License:
• Abstract: Deep Learning (DL) systems are increasingly deployed in safety-critical applications, yet they remain vulnerable to robustness issues that can lead to significant failures. While numerous Test Input Generators (TIGs) have been developed to evaluate DL robustness, a comprehensive assessment of their effectiveness across different dimensions is still lacking. This paper presents a comprehensive assessment of four state-of-the-art TIGs--DeepHunter, DeepFault, AdvGAN, and SinVAD--across multiple critical aspects: fault-revealing capability, naturalness, diversity, and efficiency. Our empirical study leverages three pre-trained models (LeNet-5, VGG16, and EfficientNetB3) on datasets of varying complexity (MNIST, CIFAR-10, and ImageNet-1K) to evaluate TIG performance. Our findings reveal important trade-offs in robustness revealing capability, variation in test case generation, and computational efficiency across TIGs. The results also show that TIG performance varies significantly with dataset complexity, as tools that perform well on simpler datasets may struggle with more complex ones. In contrast, others maintain steadier performance or better scalability. This paper offers practical guidance for selecting appropriate TIGs aligned with specific objectives and dataset characteristics. Nonetheless, more work is needed to address TIG limitations and advance TIGs for real-world, safety-critical systems.
• Abstract（参考訳）: ディープラーニング(DL)システムは、安全クリティカルなアプリケーションにますますデプロイされていますが、重大な障害を引き起こす可能性のある堅牢性の問題に弱いままです。 DLロバスト性を評価するために多数のテスト入力ジェネレータ (TIG) が開発されているが, 異なる次元での有効性を総合的に評価することはできない。 本稿では,4つの最先端TIG(DeepHunter,DeepFault,AdvGAN,SinVAD)を総合的に評価する。 実験では,3つの事前学習モデル(LeNet-5,VGG16,EfficientNetB3)を用いて,TIG性能を評価する。 この結果から,TIG間の堅牢性,テストケース生成のばらつき,計算効率などの重要なトレードオフが明らかになった。 さらに、TIGのパフォーマンスは、より単純なデータセットでうまく機能するツールが、より複雑なデータセットと競合する可能性があるため、データセットの複雑さによって大きく異なることも示している。 対照的に、より安定したパフォーマンスやより良いスケーラビリティを維持するものもあります。 本稿では,特定の目的やデータセットの特徴に適合した適切なTIGを選択するための実践的ガイダンスを提供する。 それでも、TIGの制限に対処し、現実世界の安全クリティカルなシステムのためにTIGを前進させるためには、より多くの作業が必要である。

関連論文リスト

• Benchmarking Generative AI Models for Deep Learning Test Input Generation [6.674615464230326]
  テスト入力ジェネレータ(TIG)は、ディープラーニング(DL)画像分類器が、トレーニングやテストセットを超えて入力の正確な予測を提供する能力を評価するために不可欠である。 ジェネレーティブAI(GenAI)モデルの最近の進歩は、合成画像の作成と操作のための強力なツールとなった。 我々は、異なるGenAIモデルとTIGをベンチマークして組み合わせ、生成したテスト画像の有効性、効率、品質を評価する。
  論文  参考訳（メタデータ） (2024-12-23T15:30:42Z)
• Data Quality Issues in Vulnerability Detection Datasets [1.6114012813668932]
  脆弱性検出は、サイバーセキュリティのためのソフトウェアの潜在的な弱点を特定する上で、極めて難しいタスクである。 深層学習(DL)は検出プロセスの自動化に大きな進歩を遂げた。 この目的のためにDLモデルをトレーニングするために、多くのデータセットが作成されています。 しかし、これらのデータセットは、DLモデルの検出精度の低下につながるいくつかの問題に悩まされる。
  論文  参考訳（メタデータ） (2024-10-08T13:31:29Z)
• Generative Adversarial Networks for Imputing Sparse Learning Performance [3.0350058108125646]
  本稿では,GAIN(Generative Adversarial Imputation Networks)フレームワークを用いて,スパース学習性能データをインプットする手法を提案する。 3次元テンソル空間でスパースデータを計算するGAIN法をカスタマイズした。 この発見は、AIベースの教育における包括的な学習データモデリングと分析を促進する。
  論文  参考訳（メタデータ） (2024-07-26T17:09:48Z)
• Improving GBDT Performance on Imbalanced Datasets: An Empirical Study of Class-Balanced Loss Functions [3.559225731091162]
  本稿では,3つのグラディエントブースティング決定木(GBDT)アルゴリズムにクラスバランス損失関数を適用するための総合的研究について述べる。 各種GBDTモデルに対するクラスバランス損失の影響を評価するため,複数のデータセットに対する広範囲な実験を行った。 この結果から,不均衡データセット上でのGBDT性能を向上させるためのクラスバランス損失関数の可能性が示された。
  論文  参考訳（メタデータ） (2024-07-19T15:10:46Z)
• Generalized Face Forgery Detection via Adaptive Learning for Pre-trained Vision Transformer [54.32283739486781]
  適応学習パラダイムの下で,textbfForgery-aware textbfAdaptive textbfVision textbfTransformer(FA-ViT)を提案する。 FA-ViTは、クロスデータセット評価において、Celeb-DFおよびDFDCデータセット上で93.83%と78.32%のAUCスコアを達成する。
  論文  参考訳（メタデータ） (2023-09-20T06:51:11Z)
• GOHSP: A Unified Framework of Graph and Optimization-based Heterogeneous Structured Pruning for Vision Transformer [76.2625311630021]
  視覚変換器(ViT)は、様々なコンピュータビジョンタスクにおいて非常に印象的な経験的性能を示している。 この問題を緩和するために、構造化プルーニングはモデルサイズを圧縮し、実用的な効率を実現するための有望な解決策である。 グラフと最適化に基づく構造的プルーニング(Structured Pruning)を統合化したフレームワークであるGOHSPを提案する。
  論文  参考訳（メタデータ） (2023-01-13T00:40:24Z)
• Towards Robust Dataset Learning [90.2590325441068]
  本稿では,頑健なデータセット学習問題を定式化するための三段階最適化法を提案する。 ロバストな特徴と非ロバストな特徴を特徴付ける抽象モデルの下で,提案手法はロバストなデータセットを確実に学習する。
  論文  参考訳（メタデータ） (2022-11-19T17:06:10Z)
• Feature Extraction for Machine Learning-based Intrusion Detection in IoT Networks [6.6147550436077776]
  本稿では, 特徴量削減 (FR) と機械学習 (ML) の手法が, 様々なデータセットにまたがって一般化できるかどうかを明らかにすることを目的とする。 主成分分析(PCA)、自動エンコーダ(AE)、線形識別分析(LDA)の3つの特徴抽出(FE)アルゴリズムの検出精度を評価する。
  論文  参考訳（メタデータ） (2021-08-28T23:52:18Z)
• Geometry Uncertainty Projection Network for Monocular 3D Object Detection [138.24798140338095]
  本稿では,予測および学習段階の誤り増幅問題に対処するために,幾何不確実性予測ネットワーク(GUP Net)を提案する。 具体的には, GUPモジュールを提案し, 推定深さの幾何誘導不確かさを求める。 トレーニング段階では,エラー増幅による不安定性を低減するための階層型タスク学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-07-29T06:59:07Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)
• Influence Functions in Deep Learning Are Fragile [52.31375893260445]
  影響関数は、テスト時間予測におけるサンプルの効果を近似する。 影響評価は浅いネットワークでは かなり正確です ヘッセン正則化は、高品質な影響推定を得るために重要である。
  論文  参考訳（メタデータ） (2020-06-25T18:25:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。