論文の概要: An Empirical Study of Fault Localisation Techniques for Deep Learning

• arxiv url: http://arxiv.org/abs/2412.11304v1
• Date: Sun, 15 Dec 2024 20:47:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:02:59.435498
• Title: An Empirical Study of Fault Localisation Techniques for Deep Learning
• Title（参考訳）: 深層学習におけるフォールトローカライゼーション手法の実証的研究
• Authors: Nargiz Humbatova, Jinhan Kim, Gunel Jahangirova, Shin Yoo, Paolo Tonella,
• Abstract要約: 我々は、既存の最先端のフォールトローカライゼーション技術を評価し、比較する。 Dfdは最も効果的なツールであり、ベンチマークの平均リコール率は0.61で精度は0.41である。
• 参考スコア（独自算出の注目度）: 17.586333091528594
• License:
• Abstract: With the increased popularity of Deep Neural Networks (DNNs), increases also the need for tools to assist developers in the DNN implementation, testing and debugging process. Several approaches have been proposed that automatically analyse and localise potential faults in DNNs under test. In this work, we evaluate and compare existing state-of-the-art fault localisation techniques, which operate based on both dynamic and static analysis of the DNN. The evaluation is performed on a benchmark consisting of both real faults obtained from bug reporting platforms and faulty models produced by a mutation tool. Our findings indicate that the usage of a single, specific ground truth (e.g., the human defined one) for the evaluation of DNN fault localisation tools results in pretty low performance (maximum average recall of 0.31 and precision of 0.23). However, such figures increase when considering alternative, equivalent patches that exist for a given faulty DNN. Results indicate that \dfd is the most effective tool, achieving an average recall of 0.61 and precision of 0.41 on our benchmark.
• Abstract（参考訳）: Deep Neural Networks(DNN)の人気が高まり、DNN実装、テスト、デバッグプロセスで開発者を支援するツールの必要性も高まった。 テスト中のDNNの潜在的な欠陥を自動的に解析し、ローカライズするいくつかのアプローチが提案されている。 そこで本研究では,DNNの動的解析と静的解析の両方に基づいて動作する,最先端のフォールトローカライゼーション手法の評価と比較を行う。 この評価は、バグ報告プラットフォームから得られた実際の欠陥と、突然変異ツールによって生成された欠陥モデルの両方からなるベンチマークで実施される。 以上の結果から,DNN断層定位ツールの評価に1つの具体的根拠真理(例えば,人間定義真理)を用いると,高い性能(最大平均リコール0.31,精度0.23)が得られることが示唆された。 しかし、そのような数字は、与えられた欠陥DNNに存在する同等のパッチを考えると増加する。 その結果, \dfdが最も有効なツールであり, 平均リコール率は0.61, 精度は0.41であった。

関連論文リスト

• Improved Detection and Diagnosis of Faults in Deep Neural Networks Using Hierarchical and Explainable Classification [3.2623791881739033]
  本稿では,DeFaultについて紹介する。Deep Neural Networks (DNN)プログラムの欠陥を検出し診断する新しい手法である。 提案手法は, 実世界のDNNプログラムの検出において94%のリコール, 63%のリコールを達成し, 欠陥の根本原因の診断において, 最先端技術よりも3.92%～11.54%高いパフォーマンスを示した。
  論文  参考訳（メタデータ） (2025-01-22T00:55:09Z)
• Online GNN Evaluation Under Test-time Graph Distribution Shifts [92.4376834462224]
  オンラインGNN評価という新たな研究課題は、よく訓練されたGNNが現実世界の未ラベルグラフに一般化する能力について、貴重な洞察を提供することを目的としている。 我々は、よく訓練されたGNNモデルのテスト時間一般化誤差を推定するために、LeBeDと呼ばれる効果的な学習行動不一致スコアを開発する。
  論文  参考訳（メタデータ） (2024-03-15T01:28:08Z)
• Mutation-based Fault Localization of Deep Neural Networks [11.93979764176335]
  ディープニューラルネットワーク(DNN)は、他のタイプのソフトウェアシステムと同じように、バグに影響を受けやすい。 本稿では,DNNモデルの文脈における突然変異に基づく障害局所化を再検討し,新しい手法を提案する。 Deepmuflはバグの53/109を、バグ層をトップ1の位置にランク付けすることで検出する。
  論文  参考訳（メタデータ） (2023-09-10T16:18:49Z)
• Instance-based Learning with Prototype Reduction for Real-Time Proportional Myocontrol: A Randomized User Study Demonstrating Accuracy-preserving Data Reduction for Prosthetic Embedded Systems [0.0]
  本研究は, 義肢制御におけるジェスチャー検出のためのkNNスキームに基づく学習手法の設計, 実装, 検証を行う。 8チャンネルSEMGアームバンドを用いて,パラメータ化と比例スキームの変化の影響を解析した。
  論文  参考訳（メタデータ） (2023-08-21T20:15:35Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• DeepVigor: Vulnerability Value Ranges and Factors for DNNs' Reliability Assessment [1.189955933770711]
  Deep Neural Networks(DNN)とそのアクセラレータは、安全クリティカルなアプリケーションに頻繁にデプロイされている。 本稿では,DeepVigorと呼ばれる,高精度,微粒化,メトリック指向,アクセラレーションに依存しない新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-03-13T08:55:10Z)
• CRAFT: Criticality-Aware Fault-Tolerance Enhancement Techniques for Emerging Memories-Based Deep Neural Networks [7.566423455230909]
  ディープニューラルネットワーク(DNN)は、コンピュータビジョンと自然言語処理アプリケーションにとって最も効果的なプログラミングパラダイムとして登場した。 本稿では,NVMベースのDNNの信頼性を高めるために,CRAFT(Criticality-Aware Fault-Tolerance Enhancement Techniques)を提案する。
  論文  参考訳（メタデータ） (2023-02-08T03:39:11Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Shift-Robust GNNs: Overcoming the Limitations of Localized Graph Training data [52.771780951404565]
  Shift-Robust GNN (SR-GNN) は、バイアス付きトレーニングデータとグラフの真の推論分布の分布差を考慮に入れた設計である。 SR-GNNが他のGNNベースラインを精度良く上回り、バイアス付きトレーニングデータから生じる負の効果の少なくとも40%を排除していることを示す。
  論文  参考訳（メタデータ） (2021-08-02T18:00:38Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。