論文の概要: Fault Localization in Deep Learning-based Software: A System-level Approach

• arxiv url: http://arxiv.org/abs/2411.08172v1
• Date: Tue, 12 Nov 2024 20:32:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:11:58.355532
• Title: Fault Localization in Deep Learning-based Software: A System-level Approach
• Title（参考訳）: ディープラーニングソフトウェアにおけるフォールトローカライゼーション:システムレベルのアプローチ
• Authors: Mohammad Mehdi Morovati, Amin Nikanjam, Foutse Khomh,
• Abstract要約: 本稿では,Deep Learning開発パイプライン全体を考慮したシステムレベルのフォールトローカライズアプローチであるFL4Deepを紹介する。 100の障害DLスクリプトを用いた評価では、FL4Deepは6つのDL関連障害のうち3つの精度で4つの従来手法より優れていた。
• 参考スコア（独自算出の注目度）: 12.546853096298175
• License:
• Abstract: Over the past decade, Deep Learning (DL) has become an integral part of our daily lives. This surge in DL usage has heightened the need for developing reliable DL software systems. Given that fault localization is a critical task in reliability assessment, researchers have proposed several fault localization techniques for DL-based software, primarily focusing on faults within the DL model. While the DL model is central to DL components, there are other elements that significantly impact the performance of DL components. As a result, fault localization methods that concentrate solely on the DL model overlook a large portion of the system. To address this, we introduce FL4Deep, a system-level fault localization approach considering the entire DL development pipeline to effectively localize faults across the DL-based systems. In an evaluation using 100 faulty DL scripts, FL4Deep outperformed four previous approaches in terms of accuracy for three out of six DL-related faults, including issues related to data (84%), mismatched libraries between training and deployment (100%), and loss function (69%). Additionally, FL4Deep demonstrated superior precision and recall in fault localization for five categories of faults including three mentioned fault types in terms of accuracy, plus insufficient training iteration and activation function.
• Abstract（参考訳）: 過去10年間で、ディープラーニング(DL)は私たちの日常生活の不可欠な部分になっています。 このDL利用の増加により、信頼性の高いDLソフトウェアシステムの開発の必要性が高まっている。 フォールトローカライゼーションが信頼性評価において重要な課題であることを考えると、研究者はDLベースのソフトウェアに対するいくつかのフォールトローカライゼーション手法を提案しており、主にDLモデル内のフォールトに焦点を当てている。 DLモデルはDLコンポーネントの中心であるが、DLコンポーネントのパフォーマンスに大きな影響を与える他の要素もある。 その結果,DLモデルにのみ依存する障害局所化手法がシステムの大部分を覆っていることがわかった。 これを解決するために,システムレベルの障害ローカライズアプローチであるFL4Deepを導入し,DLベースシステム全体の障害を効果的にローカライズする。 100の障害DLスクリプトを使用した評価では、FL4Deepは、データに関連する問題(84%)、トレーニングとデプロイメントのミスマッチライブラリ(100%)、損失関数(69%)を含む、6つのDL関連障害のうち3つについて、精度で4つのアプローチを上回りました。 さらに, FL4Deepでは, 3種類の断層タイプを含む5種類の断層の高精度化とリコール, トレーニング繰り返しとアクティベーション機能の欠如が認められた。

関連論文リスト

• Enhancing Fault Localization Through Ordered Code Analysis with LLM Agents and Self-Reflection [8.22737389683156]
  大規模言語モデル(LLM)は、コード理解と推論を強化することによって、フォールトローカライゼーションの有望な改善を提供する。 LLM4FL は,SBFL ランキングと配当戦略を統合した新しい LLM4FL の故障局所化手法である。 以上の結果から,LLM4FLはTop-1の精度でAutoFLを19.27%上回り,DeepFLやGraceといった最先端の監視技術を上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-09-20T16:47:34Z)
• AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models [95.09157454599605]
  大規模言語モデル(LLM)はますます強力になってきていますが、それでも顕著ですが微妙な弱点があります。 従来のベンチマークアプローチでは、特定のモデルの欠陥を徹底的に特定することはできない。 さまざまなタスクにまたがるLLMの弱点を自動的に露呈する統合フレームワークであるAutoDetectを導入する。
  論文  参考訳（メタデータ） (2024-06-24T15:16:45Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• DOMINO: Domain-aware Loss for Deep Learning Calibration [49.485186880996125]
  本稿では,ディープラーニングモデルの校正のためのドメイン認識損失関数を提案する。 提案した損失関数は、与えられた対象領域内のクラス間の類似性に基づいてクラスワイズペナルティを適用する。
  論文  参考訳（メタデータ） (2023-02-10T09:47:46Z)
• DeepFD: Automated Fault Diagnosis and Localization for Deep Learning Programs [15.081278640511998]
  DeepFDは学習ベースの障害診断およびローカライゼーションフレームワークである。 フォールトローカライゼーションタスクを学習問題にマップする。 52%の欠陥DLプログラムを正しく診断し、最先端の成果によって達成された約半分(27%)と比較する。
  論文  参考訳（メタデータ） (2022-05-04T08:15:56Z)
• Challenges in Migrating Imperative Deep Learning Programs to Graph Execution: An Empirical Study [4.415977307120617]
  我々は、信頼できるがパフォーマンスのよい命令型DLコードを書くことに関わる課題と結果のバグを、データ駆動で分析します。 命令型DLコードを効果的にハイブリダイズするために、いくつかの推奨事項、ベストプラクティス、アンチパターンを提示しました。
  論文  参考訳（メタデータ） (2022-01-24T21:12:38Z)
• VELVET: a noVel Ensemble Learning approach to automatically locate VulnErable sTatements [62.93814803258067]
  本稿では,ソースコード中の脆弱な文を見つけるための新しいアンサンブル学習手法であるVELVETを提案する。 我々のモデルは、グラフベースとシーケンスベースニューラルネットワークを組み合わせて、プログラムグラフの局所的およびグローバル的コンテキストを捕捉する。 VELVETは、合成データと実世界のデータに対して、それぞれ99.6%と43.6%の精度を達成している。
  論文  参考訳（メタデータ） (2021-12-20T22:45:27Z)
• Characterizing Performance Bugs in Deep Learning Systems [7.245989243616551]
  深層学習システムにおける症状,根本原因,およびパフォーマンスバグの露呈を特徴付けるための,最初の総合的研究について述べる。 以上の結果から, 高性能DLシステムの開発や, PBの検出, ローカライズが示唆された。 また、56PBのベンチマークをDLシステムに構築し、既存のアプローチでそれに取り組む能力を評価する。
  論文  参考訳（メタデータ） (2021-12-03T08:08:52Z)
• Deep Learning and Traffic Classification: Lessons learned from a commercial-grade dataset with hundreds of encrypted and zero-day applications [72.02908263225919]
  商業用DLトラフィック分類エンジンでの経験を共有します。 暗号化トラフィックから既知のアプリケーションや未知のゼロデイアプリケーションを特定します。 DLモデルに合わせ、最新技術よりも正確で軽量な新しい手法を提案します。
  論文  参考訳（メタデータ） (2021-04-07T15:21:22Z)
• An Empirical Study on Deployment Faults of Deep Learning Based Mobile Applications [7.58063287182615]
  モバイルディープラーニング(DL)アプリは、大規模データを使用してトレーニングされたDLモデルとDLプログラムを統合する。 本稿では,モバイルdlアプリのデプロイ障害に関する最初の総合的研究を行う。 我々は,断層症状に関する23のカテゴリからなる微粒度分類を構築し,異なる断層タイプに対する共通修正戦略を蒸留する。
  論文  参考訳（メタデータ） (2021-01-13T08:19:50Z)
• A Survey of Deep Active Learning [54.376820959917005]
  アクティブラーニング(AL)は、最も少ないサンプルをマークすることで、モデルの性能向上を最大化しようとする。 ディープラーニング(DL)はデータに対して欲張りであり、大量のパラメータを最適化するために大量のデータ供給を必要とする。 ディープラーニング(Deep Active Learning, DAL)が誕生した。
  論文  参考訳（メタデータ） (2020-08-30T04:28:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。