論文の概要: XMutant: XAI-based Fuzzing for Deep Learning Systems
- arxiv url: http://arxiv.org/abs/2503.07222v1
- Date: Mon, 10 Mar 2025 12:05:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-11 15:51:08.426046
- Title: XMutant: XAI-based Fuzzing for Deep Learning Systems
- Title(参考訳): XMutant:ディープラーニングシステムのためのXAIベースのファジリング
- Authors: Xingcheng Chen, Matteo Biagiola, Vincenzo Riccio, Marcelo d'Amorim, Andrea Stocco,
- Abstract要約: XMutantは、説明可能な人工知能(XAI)技術を利用して、挑戦的なテスト入力を生成するテクニックである。
実験の結果,XMutantは入力の最も影響の大きい部分に着目し,より効率的かつ効率的なテスト生成を可能にすることがわかった。
- 参考スコア(独自算出の注目度): 6.878645239814823
- License:
- Abstract: Semantic-based test generators are widely used to produce failure-inducing inputs for Deep Learning (DL) systems. They typically generate challenging test inputs by applying random perturbations to input semantic concepts until a failure is found or a timeout is reached. However, such randomness may hinder them from efficiently achieving their goal. This paper proposes XMutant, a technique that leverages explainable artificial intelligence (XAI) techniques to generate challenging test inputs. XMutant uses the local explanation of the input to inform the fuzz testing process and effectively guide it toward failures of the DL system under test. We evaluated different configurations of XMutant in triggering failures for different DL systems both for model-level (sentiment analysis, digit recognition) and system-level testing (advanced driving assistance). Our studies showed that XMutant enables more effective and efficient test generation by focusing on the most impactful parts of the input. XMutant generates up to 125% more failure-inducing inputs compared to an existing baseline, up to 7X faster. We also assessed the validity of these inputs, maintaining a validation rate above 89%, according to automated and human validators.
- Abstract(参考訳): セマンティックベースのテストジェネレータは、Deep Learning (DL)システムのための障害誘発インプットを生成するために広く利用されている。
通常、失敗が見つかるかタイムアウトに達するまで、入力セマンティックな概念にランダムな摂動を適用することで、挑戦的なテスト入力を生成する。
しかし、そのようなランダム性は、効率的に目標を達成するのを妨げる可能性がある。
本稿では、説明可能な人工知能(XAI)技術を利用して、挑戦的なテスト入力を生成する技術であるXMutantを提案する。
XMutantは、入力の局所的な説明を使用してファズテストプロセスに通知し、テスト中のDLシステムの障害に対して効果的に誘導する。
我々は、モデルレベル(センチメント分析、数値認識)とシステムレベルテスト(アドバンストドライブアシスト)の両方において、異なるDLシステムの障害を引き起こす際のXMutantの異なる構成を評価した。
実験の結果,XMutantは入力の最も影響の大きい部分に着目し,より効率的かつ効率的なテスト生成を可能にすることがわかった。
XMutantは、既存のベースラインに比べて最大で125%、最大で7倍高速なインプットを生成する。
また,これらの入力の有効性も評価し,自動的および人的検証者によれば,89%以上の検証率を維持した。
関連論文リスト
- Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。
このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。
本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
論文 参考訳(メタデータ) (2024-02-07T21:58:40Z) - Test Generation Strategies for Building Failure Models and Explaining
Spurious Failures [4.995172162560306]
テスト入力は、テスト対象のシステムが故障している場合だけでなく、入力が無効または非現実的である場合も失敗する。
テストインプットに対して解釈可能なルールを推論し,重大な障害を引き起こす障害モデルを構築することを提案する。
提案手法は, 平均精度83%の故障モデルを生成する。
論文 参考訳(メタデータ) (2023-12-09T18:36:15Z) - When and Why Test Generators for Deep Learning Produce Invalid Inputs:
an Empirical Study [4.632232395989182]
ディープラーニング(DL)ベースのシステムをテストするには、DLシステムがトレーニングデータセットを超えて一般化するかどうかを評価するために、本質的に、大規模で代表的なテストセットが必要である。
逆テスト入力ジェネレータ(TIG)は、誤動作を引き起こすことによってDLシステムの問題を露呈する人工的な入力を生成するために提案されている。
本稿では,自動検証と人的検証の両方により,TIGが有効な入力を生成できる範囲について検討する。
論文 参考訳(メタデータ) (2022-12-21T21:10:49Z) - Exploiting prompt learning with pre-trained language models for
Alzheimer's Disease detection [70.86672569101536]
アルツハイマー病(AD)の早期診断は予防ケアの促進とさらなる進行の遅らせに不可欠である。
本稿では,AD分類誤差をトレーニング対象関数として一貫して用いたPLMの高速微調整法について検討する。
論文 参考訳(メタデータ) (2022-10-29T09:18:41Z) - Exploring linguistic feature and model combination for speech
recognition based automatic AD detection [61.91708957996086]
音声ベースの自動ADスクリーニングシステムは、他の臨床スクリーニング技術に代わる非侵襲的でスケーラブルな代替手段を提供する。
専門的なデータの収集は、そのようなシステムを開発する際に、モデル選択と特徴学習の両方に不確実性をもたらす。
本稿では,BERT と Roberta の事前学習したテキストエンコーダのドメイン微調整の堅牢性向上のための特徴とモデルの組み合わせ手法について検討する。
論文 参考訳(メタデータ) (2022-06-28T05:09:01Z) - TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。
ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
論文 参考訳(メタデータ) (2022-05-18T05:43:06Z) - DeepMetis: Augmenting a Deep Learning Test Set to Increase its Mutation
Score [4.444652484439581]
ツールは与えられたテストセットを増強し、ミュータントを平均で63%検出する能力を高めるのに効果的である。
アウトアウト実験では、強化されたテストセットが目に見えないミュータントを露出できることを示している。
論文 参考訳(メタデータ) (2021-09-15T18:20:50Z) - Distribution-Aware Testing of Neural Networks Using Generative Models [5.618419134365903]
ディープニューラルネットワーク(DNN)をコンポーネントとして持つソフトウェアの信頼性は、緊急に重要である。
最近の3つのテスト手法が, かなりの数の不正なテスト入力を生成することを示す。
テスト生成プロセスにおいて,テスト中のDNNモデルの有効な入力空間を組み込む手法を提案する。
論文 参考訳(メタデータ) (2021-02-26T17:18:21Z) - Learning the Noise of Failure: Intelligent System Tests for Robots [1.713291434132985]
ロボットの自動システムテストにおける故障検出のためのシミュレーションノイズ推定を提案する。
この技術は、人間が成功や失敗を評価することなく、実世界の自動テストを強化することができる。
論文 参考訳(メタデータ) (2021-02-16T11:06:45Z) - A Novel Anomaly Detection Algorithm for Hybrid Production Systems based
on Deep Learning and Timed Automata [73.38551379469533]
DAD:DeepAnomalyDetectionは,ハイブリッド生産システムにおける自動モデル学習と異常検出のための新しいアプローチである。
深層学習とタイムドオートマトンを組み合わせて、観察から行動モデルを作成する。
このアルゴリズムは実システムからの2つのデータを含む少数のデータセットに適用され、有望な結果を示している。
論文 参考訳(メタデータ) (2020-10-29T08:27:43Z) - SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier
Detection [63.253850875265115]
外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。
そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
論文 参考訳(メタデータ) (2020-03-11T00:22:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。