論文の概要: Feature Map Testing for Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2307.11563v1
- Date: Fri, 21 Jul 2023 13:15:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-24 12:23:21.792208
- Title: Feature Map Testing for Deep Neural Networks
- Title(参考訳): ディープニューラルネットワークのための特徴マップテスト
- Authors: Dong Huang, Qingwen Bu, Yahao Qing, Yichao Fu, Heming Cui
- Abstract要約: 機能マップレベルからDNNをテストするDeepFeatureを提案する。
DeepFeatureは高い障害検出率を持ち、より多くの種類の障害を検出することができる(DeepFeatureをカバレッジ誘導選択技術と比較すると、障害検出率は49.32%向上する)。
- 参考スコア(独自算出の注目度): 6.931570234442819
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to the widespread application of deep neural networks~(DNNs) in
safety-critical tasks, deep learning testing has drawn increasing attention.
During the testing process, test cases that have been fuzzed or selected using
test metrics are fed into the model to find fault-inducing test units (e.g.,
neurons and feature maps, activating which will almost certainly result in a
model error) and report them to the DNN developer, who subsequently repair
them~(e.g., retraining the model with test cases). Current test metrics,
however, are primarily concerned with the neurons, which means that test cases
that are discovered either by guided fuzzing or selection with these metrics
focus on detecting fault-inducing neurons while failing to detect
fault-inducing feature maps.
In this work, we propose DeepFeature, which tests DNNs from the feature map
level. When testing is conducted, DeepFeature will scrutinize every internal
feature map in the model and identify vulnerabilities that can be enhanced
through repairing to increase the model's overall performance. Exhaustive
experiments are conducted to demonstrate that (1) DeepFeature is a strong tool
for detecting the model's vulnerable feature maps; (2) DeepFeature's test case
selection has a high fault detection rate and can detect more types of
faults~(comparing DeepFeature to coverage-guided selection techniques, the
fault detection rate is increased by 49.32\%). (3) DeepFeature's fuzzer also
outperforms current fuzzing techniques and generates valuable test cases more
efficiently.
- Abstract(参考訳): 安全クリティカルなタスクにおけるディープニューラルネットワーク(dnn)の広範な適用により、ディープラーニングテストが注目を集めている。
テストプロセス中、テストメトリクスを使用してファジットまたは選択されたテストケースをモデルに入力し、フォールトインジェクションテストユニット(例えば、ニューロンや特徴マップ、ほぼ確実にモデルエラーとなるような活性化)を見つけ、それらをDNN開発者に報告し、その後修正する(例えば、テストケースでモデルを再訓練する)。
しかし、現在のテストメトリクスは、主にニューロンに関係しており、ガイドファジィングまたはこれらのメトリクスの選択によって検出されるテストケースは、障害誘発機能マップの検出に失敗しながら、障害誘発ニューロンの検出に焦点を当てている。
本稿では,機能マップレベルからDNNをテストするDeepFeatureを提案する。
テストが実行されると、deepfeatureはモデル内のすべての内部機能マップを調査し、モデル全体のパフォーマンスを向上させるために修復によって拡張可能な脆弱性を特定する。
1)deepfeatureはモデルの脆弱な特徴マップを検出するための強力なツールであり, (2) deepfeatureのテストケース選択は障害検出率が高く,より多くの種類の障害を検出することができる(deepfeatureをカバレッジガイド選択技術と比較すると,障害検出率は49.32\%向上する)。
(3)DeepFeatureのファザは、現在のファザリング技術より優れ、より効率的なテストケースを生成する。
関連論文リスト
- Robust Black-box Testing of Deep Neural Networks using Co-Domain Coverage [18.355332126489756]
信頼できるデプロイメントには、マシンラーニングモデルの厳格なテストが必要です。
我々は、ディープニューラルネットワーク(DNN)の堅牢なテストのためのテストスーツを生成するための新しいブラックボックスアプローチを提案する。
論文 参考訳(メタデータ) (2024-08-13T09:42:57Z) - Neuron Sensitivity Guided Test Case Selection for Deep Learning Testing [6.686765165569934]
ディープニューラルネットワーク(DNN)は、様々なタスクに対処するために、ソフトウェアに広くデプロイされている。
DNN開発者は、自然界からリッチなラベル付きデータセットを収集し、DNNモデルをテストするためにラベル付けすることが多い。
ラベル付きデータセットから有意なテストケースを選択することで、ラベル付け時間を短縮できるNAS, Neuron Sensitivity guided test case Selectionを提案する。
論文 参考訳(メタデータ) (2023-07-20T16:36:04Z) - Semi-Supervised and Long-Tailed Object Detection with CascadeMatch [91.86787064083012]
そこで我々はCascadeMatchと呼ばれる新しい擬似ラベル型検出器を提案する。
我々の検出器は、プログレッシブな信頼しきい値を持つ多段検出ヘッドを備えたカスケードネットワークアーキテクチャを備えている。
CascadeMatchは、長い尾のオブジェクト検出の処理において、既存の最先端の半教師付きアプローチを超越していることを示す。
論文 参考訳(メタデータ) (2023-05-24T07:09:25Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳(メタデータ) (2023-02-06T16:38:43Z) - VPN: Verification of Poisoning in Neural Networks [11.221552724154988]
我々は、別のニューラルネットワークセキュリティ問題、すなわちデータ中毒について研究する。
この場合、アタッカーがトレーニングデータのサブセットにトリガーを挿入するので、テスト時にこのトリガーが入力され、トレーニングされたモデルがターゲットクラスに誤って分類される。
我々は、市販の検証ツールでチェックできるプロパティとして、データ中毒のチェックを定式化する方法を示す。
論文 参考訳(メタデータ) (2022-05-08T15:16:05Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳(メタデータ) (2022-04-06T06:39:40Z) - Model2Detector:Widening the Information Bottleneck for
Out-of-Distribution Detection using a Handful of Gradient Steps [12.263417500077383]
アウト・オブ・ディストリビューション検出は、長いバニラニューラルネットワークを持つ重要な機能である。
推論時間外分布検出の最近の進歩は、これらの問題のいくつかを緩和するのに役立つ。
提案手法は,一般的な画像データセットにおける検出精度において,常に最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-02-22T23:03:40Z) - Anomaly Detection of Test-Time Evasion Attacks using Class-conditional
Generative Adversarial Networks [21.023722317810805]
本稿では,GAN(Class Conditional Generative Adversaratives)に基づく攻撃検出手法を提案する。
我々は、Auxiliary GAN (ACGAN) によって予測されたクラスラベルに条件付されたクリーンデータの分布をモデル化する。
異なるTTE攻撃手法による画像分類データセットの実験により,本手法が最先端検出法より優れていることが示された。
論文 参考訳(メタデータ) (2021-05-21T02:51:58Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳(メタデータ) (2021-04-11T12:14:04Z) - Understanding Classifier Mistakes with Generative Models [88.20470690631372]
ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。
本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。
我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
論文 参考訳(メタデータ) (2020-10-05T22:13:21Z) - Beyond Dropout: Feature Map Distortion to Regularize Deep Neural
Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。
上記の問題に対処するための特徴歪み法(Disout)を提案する。
より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文 参考訳(メタデータ) (2020-02-23T13:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。