Fugu-MT 論文翻訳(概要): Path Analysis for Effective Fault Localization in Deep Neural Networks

論文の概要: Path Analysis for Effective Fault Localization in Deep Neural Networks

arxiv url: http://arxiv.org/abs/2310.18987v2
Date: Mon, 6 Nov 2023 16:27:58 GMT
ステータス: 処理完了
システム内更新日: 2023-11-07 19:48:42.005997
Title: Path Analysis for Effective Fault Localization in Deep Neural Networks
Title（参考訳）: 深層ニューラルネットワークにおける障害局在の経路解析
Authors: Soroush Hashemifar, Saeed Parsa and Akram Kalaee
Abstract要約: 本稿では,SBFL(Spectrum-based Fault Localization)を用いた障害性神経経路(NP)の同定手法を提案する。本手法は,LRP(Layer-wise Relevance propagation)技術を用いて臨界ニューロンを同定し,どの臨界ニューロンが欠陥であるかを判定する。 NP-SBFL-MGA(NP-SBFL-MGA)を2つの一般的なデータセットで評価した。
参考スコア（独自算出の注目度）: 0.5524804393257919
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep learning has revolutionized various real-world applications, but the quality of Deep Neural Networks (DNNs) remains a concern. DNNs are complex and have millions of parameters, making it difficult to determine their contributions to fulfilling a task. Moreover, the behavior of a DNN is highly influenced by the data used during training, making it challenging to collect enough data to exercise all potential DNN behavior under all possible scenarios. This paper proposes NP SBFL method to locate faulty neural pathways (NP) using spectrum-based fault localization (SBFL). Our method identifies critical neurons using the layer-wise relevance propagation (LRP) technique and determines which critical neurons are faulty. Moreover, we propose a multi-stage gradient ascent (MGA), an extension of gradient ascent (GA), to effectively activate a sequence of neurons one at a time while maintaining the activation of previous neurons, so we are able to test the reported faulty pathways. We evaluated the effectiveness of our method, i.e. NP-SBFL-MGA, on two commonly used datasets, MNIST and CIFAR-10, two baselines DeepFault and NP-SBFL-GA, and three suspicious neuron measures, Tarantula, Ochiai, and Barinel. The empirical results showed that NP-SBFL-MGA is statistically more effective than the baselines at identifying suspicious paths and synthesizing adversarial inputs. Particularly, Tarantula on NP-SBFL-MGA had the highest fault detection rate at 96.75%, surpassing DeepFault on Ochiai (89.90%) and NP-SBFL-GA on Ochiai (60.61%). Our approach also yielded comparable results to the baselines in synthesizing naturalness inputs, and we found a positive correlation between the coverage of critical paths and the number of failed tests in DNN fault localization.
Abstract（参考訳）: ディープラーニングは様々な現実世界のアプリケーションに革命をもたらしたが、Deep Neural Networks(DNN)の品質は依然として懸念されている。 dnnは複雑で、数百万のパラメータを持ち、タスクの遂行への貢献を決定するのが難しい。さらに、DNNの振る舞いは、トレーニング中に使用されるデータに非常に影響を受けており、すべてのシナリオで潜在的なDNNの振る舞いを実行するのに十分なデータを収集することは困難である。本稿では,spectrum-based fault localization(sbfl)を用いて,故障神経経路(np)を同定するnp sbfl法を提案する。本手法は,LRP法を用いて臨界ニューロンを同定し,どの臨界ニューロンが異常であるかを判定する。さらに,従来のニューロンの活性化を維持しつつ,ニューロンの配列を1つずつ効果的に活性化する多段階勾配上昇(MGA)を提案する。 NP-SBFL-MGAは,MNISTとCIFAR-10,DeepFaultとNP-SBFL-GAの2つのベースライン,Taratra,Ochiai,Barinelの3つの疑わしいニューロン測定において有効であった。実験の結果,NP-SBFL-MGAは疑わしい経路の同定や逆入力の合成において,ベースラインよりも統計的に有効であることが示唆された。特に、NP-SBFL-MGAのタランチュラの断層検出率は96.75%で、OchiaiのDeepFault(89.90%)、OchiaiのNP-SBFL-GA(60.61%)を上回った。また,本手法は自然度入力のベースラインに匹敵する結果となり,臨界経路のカバレッジとDNN断層定位におけるテスト失敗数との間に正の相関が認められた。

関連論文リスト

DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。 BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
論文参考訳（メタデータ） (2024-06-04T07:24:51Z)
Scalable and reliable deep transfer learning for intelligent fault detection via multi-scale neural processes embedded with knowledge [7.730457774728478]
本稿では,グラフ畳み込みネットワーク(GTNP)を用いたニューラルプロセスを用いたディープトランスファー学習法を提案する。提案手法の検証は3つのIFDタスクにまたがって行われ、他のDTL法と比較してGTNPの検出性能が優れていた。
論文参考訳（メタデータ） (2024-02-20T05:39:32Z)
Effective Learning with Node Perturbation in Multi-Layer Neural Networks [2.1168858935852013]
node perturbation (NP) は、ネットワークアクティベーションにノイズを注入することで学習を提案する。 NPは、非誘導ノイズに基づく探索プロセスのため、データ非効率で不安定である。各層での入力デコリレーションと指向性デリバティブとの密接なアライメントはNP学習の性能を強く向上させる。
論文参考訳（メタデータ） (2023-10-02T08:12:51Z)
Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。よりスムーズな関数との補間により、より一般化できることを示す。
論文参考訳（メタデータ） (2023-05-30T19:37:44Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper Directly-Trained Spiking Neural Networks [19.490903216456758]
スパイキングニューラルネットワーク(SNN)は、非同期離散性とスパース特性を持つニューラルネットワークである。既存のスパイキング抑制残差ネットワーク(Spiking DS-ResNet)に基づくマルチレベル焼成(MLF)手法を提案する。
論文参考訳（メタデータ） (2022-10-12T16:39:46Z)
Navigating Local Minima in Quantized Spiking Neural Networks [3.1351527202068445]
深層学習(DL)アルゴリズムの超効率的な実装においては,スパイキングと量子ニューラルネットワーク(NN)が極めて重要になっている。これらのネットワークは、ハードしきい値を適用する際の勾配信号の欠如により、エラーのバックプロパゲーションを使用してトレーニングする際の課題に直面している。本稿では,コサインアニールLRスケジュールと重み非依存適応モーメント推定を併用したシステム評価を行った。
論文参考訳（メタデータ） (2022-02-15T06:42:25Z)
BioGrad: Biologically Plausible Gradient-Based Learning for Spiking Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)は、AI問題に対するエネルギー効率が高く、非常に並列で、低レイテンシのソリューションを提供している。これらの計算的利点を利用するには、SNNは脳にインスパイアされたニューロモルフィックの原則に従う学習アルゴリズムによって訓練される必要がある。本稿では,機能的にバックプロップと等価なSNNのための生物学的に妥当な勾配に基づく学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-10-27T00:07:25Z)
SCOP: Scientific Control for Reliable Neural Network Pruning [127.20073865874636]
本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。冗長フィルタは、異なる特徴の逆数過程において発見できる。提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
論文参考訳（メタデータ） (2020-10-21T03:02:01Z)
GraN: An Efficient Gradient-Norm Based Detector for Adversarial and Misclassified Examples [77.99182201815763]
ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。 GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。 GraNは多くの問題セットで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2020-04-20T10:09:27Z)
Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。