論文の概要: Path Analysis for Effective Fault Localization in Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2310.18987v2
- Date: Mon, 6 Nov 2023 16:27:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 19:48:42.005997
- Title: Path Analysis for Effective Fault Localization in Deep Neural Networks
- Title（参考訳）: 深層ニューラルネットワークにおける障害局在の経路解析
- Authors: Soroush Hashemifar, Saeed Parsa and Akram Kalaee
- Abstract要約: 本稿では,SBFL(Spectrum-based Fault Localization)を用いた障害性神経経路(NP)の同定手法を提案する。
本手法は,LRP(Layer-wise Relevance propagation)技術を用いて臨界ニューロンを同定し,どの臨界ニューロンが欠陥であるかを判定する。
NP-SBFL-MGA(NP-SBFL-MGA)を2つの一般的なデータセットで評価した。
- 参考スコア（独自算出の注目度）: 0.5524804393257919
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning has revolutionized various real-world applications, but the
quality of Deep Neural Networks (DNNs) remains a concern. DNNs are complex and
have millions of parameters, making it difficult to determine their
contributions to fulfilling a task. Moreover, the behavior of a DNN is highly
influenced by the data used during training, making it challenging to collect
enough data to exercise all potential DNN behavior under all possible
scenarios. This paper proposes NP SBFL method to locate faulty neural pathways
(NP) using spectrum-based fault localization (SBFL). Our method identifies
critical neurons using the layer-wise relevance propagation (LRP) technique and
determines which critical neurons are faulty. Moreover, we propose a
multi-stage gradient ascent (MGA), an extension of gradient ascent (GA), to
effectively activate a sequence of neurons one at a time while maintaining the
activation of previous neurons, so we are able to test the reported faulty
pathways. We evaluated the effectiveness of our method, i.e. NP-SBFL-MGA, on
two commonly used datasets, MNIST and CIFAR-10, two baselines DeepFault and
NP-SBFL-GA, and three suspicious neuron measures, Tarantula, Ochiai, and
Barinel. The empirical results showed that NP-SBFL-MGA is statistically more
effective than the baselines at identifying suspicious paths and synthesizing
adversarial inputs. Particularly, Tarantula on NP-SBFL-MGA had the highest
fault detection rate at 96.75%, surpassing DeepFault on Ochiai (89.90%) and
NP-SBFL-GA on Ochiai (60.61%). Our approach also yielded comparable results to
the baselines in synthesizing naturalness inputs, and we found a positive
correlation between the coverage of critical paths and the number of failed
tests in DNN fault localization.
- Abstract（参考訳）: ディープラーニングは様々な現実世界のアプリケーションに革命をもたらしたが、Deep Neural Networks(DNN)の品質は依然として懸念されている。
dnnは複雑で、数百万のパラメータを持ち、タスクの遂行への貢献を決定するのが難しい。
さらに、DNNの振る舞いは、トレーニング中に使用されるデータに非常に影響を受けており、すべてのシナリオで潜在的なDNNの振る舞いを実行するのに十分なデータを収集することは困難である。
本稿では,spectrum-based fault localization(sbfl)を用いて,故障神経経路(np)を同定するnp sbfl法を提案する。
本手法は,LRP法を用いて臨界ニューロンを同定し,どの臨界ニューロンが異常であるかを判定する。
さらに,従来のニューロンの活性化を維持しつつ,ニューロンの配列を1つずつ効果的に活性化する多段階勾配上昇(MGA)を提案する。
NP-SBFL-MGAは,MNISTとCIFAR-10,DeepFaultとNP-SBFL-GAの2つのベースライン,Taratra,Ochiai,Barinelの3つの疑わしいニューロン測定において有効であった。
実験の結果,NP-SBFL-MGAは疑わしい経路の同定や逆入力の合成において,ベースラインよりも統計的に有効であることが示唆された。
特に、NP-SBFL-MGAのタランチュラの断層検出率は96.75%で、OchiaiのDeepFault(89.90%)、OchiaiのNP-SBFL-GA(60.61%)を上回った。
また,本手法は自然度入力のベースラインに匹敵する結果となり,臨界経路のカバレッジとDNN断層定位におけるテスト失敗数との間に正の相関が認められた。
関連論文リスト
- Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。
複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。
変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
論文 参考訳（メタデータ） (2024-12-05T09:41:33Z) - Fractional-order spike-timing-dependent gradient descent for multi-layer spiking neural networks [18.142378139047977]
本稿では,数次スパイクタイピング依存勾配勾配(FOSTDGD)学習モデルを提案する。
TheNISTとDVS128 Gestureデータセットでテストし、その精度を異なるネットワーク構造と分数順序で分析する。
論文 参考訳（メタデータ） (2024-10-20T05:31:34Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Enhancing Fault Resilience of QNNs by Selective Neuron Splitting [1.1091582432763736]
ディープニューラルネットワーク(DNN)の複雑さに取り組むために量子ニューラルネットワーク(QNN)が登場した。
本稿では,ニューロン脆弱性因子(NVF)に基づく臨界ニューロンの同定にQNNを用いた最近の解析的レジリエンス評価手法を提案する。
計算部分を再設計することなく、加速器内に軽量補正ユニット(LCU)を設計できる臨界ニューロン分割法が提案されている。
論文 参考訳（メタデータ） (2023-06-16T17:11:55Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - MSAT: Biologically Inspired Multi-Stage Adaptive Threshold for
Conversion of Spiking Neural Networks [11.392893261073594]
スパイキングニューラルネットワーク(SNN)はそのスパイク間隔のために低消費電力で推測できる。
ANN-SNN変換は、よく訓練されたニューラルネットワーク(ANN)を変換することでディープSNNを実現する効率的な方法である
既存の方法は、ニューロンがより深い層にスパイクを素早く届けるのを防ぐ変換に一定の閾値を使用するのが一般的である。
論文 参考訳（メタデータ） (2023-03-23T07:18:08Z) - Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper
Directly-Trained Spiking Neural Networks [19.490903216456758]
スパイキングニューラルネットワーク(SNN)は、非同期離散性とスパース特性を持つニューラルネットワークである。
既存のスパイキング抑制残差ネットワーク(Spiking DS-ResNet)に基づくマルチレベル焼成(MLF)手法を提案する。
論文 参考訳（メタデータ） (2022-10-12T16:39:46Z) - Ultra-low Latency Adaptive Local Binary Spiking Neural Network with
Accuracy Loss Estimator [4.554628904670269]
精度損失推定器を用いた超低レイテンシ適応型局所二元スパイクニューラルネットワーク(ALBSNN)を提案する。
実験の結果,ネットワークの精度を損なうことなく,ストレージ容量を20%以上削減できることがわかった。
論文 参考訳（メタデータ） (2022-07-31T09:03:57Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z) - GraN: An Efficient Gradient-Norm Based Detector for Adversarial and
Misclassified Examples [77.99182201815763]
ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。
GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。
GraNは多くの問題セットで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-04-20T10:09:27Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。