論文の概要: Towards Understanding the Challenges of Bug Localization in Deep Learning Systems

• arxiv url: http://arxiv.org/abs/2402.01021v1
• Date: Thu, 1 Feb 2024 21:17:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 17:40:46.304721
• Title: Towards Understanding the Challenges of Bug Localization in Deep Learning Systems
• Title（参考訳）: 深層学習システムにおけるバグローカライゼーションの課題理解に向けて
• Authors: Sigma Jahan, Mehil B. Shah, Mohammad Masudur Rahman
• Abstract要約: 我々は、ディープラーニングシステムにおけるバグのローカライズに関する課題をより深く理解するために、大規模な実証的研究を行っている。 まず,ディープラーニングシステムの2,365バグと,従来のソフトウェアによる2,913バグを用いて,既存の4つのテクニックのバグローカライズ性能を判定する。 第2に,ディープラーニングシステムにおけるバグタイプの違いが,バグのローカライゼーションに与える影響を評価する。
• 参考スコア（独自算出の注目度）: 2.9312156642007294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Software bugs cost the global economy billions of dollars annually and claim ~50\% of the programming time from software developers. Locating these bugs is crucial for their resolution but challenging. It is even more challenging in deep-learning systems due to their black-box nature. Bugs in these systems are also hidden not only in the code but also in the models and training data, which might make traditional debugging methods less effective. In this article, we conduct a large-scale empirical study to better understand the challenges of localizing bugs in deep-learning systems. First, we determine the bug localization performance of four existing techniques using 2,365 bugs from deep-learning systems and 2,913 from traditional software. We found these techniques significantly underperform in localizing deep-learning system bugs. Second, we evaluate how different bug types in deep learning systems impact bug localization. We found that the effectiveness of localization techniques varies with bug type due to their unique challenges. For example, tensor bugs were more accessible to locate due to their structural nature, while all techniques struggled with GPU bugs due to their external dependencies. Third, we investigate the impact of bugs' extrinsic nature on localization in deep-learning systems. We found that deep learning bugs are often extrinsic and thus connected to artifacts other than source code (e.g., GPU, training data), contributing to the poor performance of existing localization methods.
• Abstract（参考訳）: ソフトウェアバグは世界経済に毎年数十億ドルを費やし、ソフトウェア開発者によるプログラミング時間の約50%を犠牲にしている。 これらのバグの配置は、解決には不可欠だが、難しい。 ディープラーニングシステムでは、ブラックボックスの性質から、さらに難しいのです。 これらのシステムのバグはコードだけでなく、モデルやトレーニングデータにも隠されているため、従来のデバッグメソッドの効率が低下する可能性がある。 本稿では,ディープラーニングシステムにおけるバグのローカライズに関する課題をより深く理解するために,大規模実証研究を行う。 まず,ディープラーニングシステムの2,365バグと,従来のソフトウェアによる2,913バグを用いて,既存の4つのテクニックのバグローカライズ性能を決定する。 ディープラーニングシステムのバグをローカライズする上で,これらのテクニックは極めて劣っていることが分かりました。 第2に,ディープラーニングシステムにおけるバグタイプの違いが,バグのローカライゼーションに与える影響を評価する。 その結果, ローカライズ手法の有効性は, バグの種類によって異なることがわかった。 例えば、テンソルバグは構造的な性質から見つけやすく、すべてのテクニックは外部依存関係のためにGPUバグに悩まされていた。 第3に,深層学習システムにおける虫の極端性が局在に及ぼす影響について検討する。 ディープラーニングのバグは,ソースコード以外のアーティファクト(gpuやトレーニングデータなど)に関連付けられることが多いため,既存のローカライズ手法のパフォーマンスが低下する原因となっていることが分かりました。

関連論文リスト

• RESTOR: Knowledge Recovery through Machine Unlearning [71.75834077528305]
  Webスケールコーパスでトレーニングされた大規模な言語モデルは、望ましくないデータポイントを記憶することができる。 訓練されたモデルからこれらのデータポイントを「消去」することを目的とした、多くの機械学習手法が提案されている。 以下に示す次元に基づいて,機械学習のためのRESTORフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-31T20:54:35Z)
• DebugBench: Evaluating Debugging Capability of Large Language Models [80.73121177868357]
  DebugBench - LLM(Large Language Models)のベンチマーク。 C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。 ゼロショットシナリオで2つの商用および4つのオープンソースモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-09T15:46:38Z)
• Towards Enhancing the Reproducibility of Deep Learning Bugs: An Empirical Study [13.17302533571231]
  本稿では,ディープラーニングのバグを再現する上で重要な課題について検討する。 重要な問題を改善する可能性のある編集動作と有用な情報を特定します。 165件のバグのうち148件を再現しました。
  論文  参考訳（メタデータ） (2024-01-05T21:30:13Z)
• Automated Bug Generation in the era of Large Language Models [6.0770779409377775]
  BugFarmは任意のコードを複数の複雑なバグに変換する。 BUGFARMが生成した1.9万以上の変異株から435k以上のバグを総合的に評価する。
  論文  参考訳（メタデータ） (2023-10-03T20:01:51Z)
• An Empirical Study on Bugs Inside PyTorch: A Replication Study [10.848682558737494]
  私たちは、非常に人気のあるディープラーニングフレームワークであるPyTorchライブラリのバグを特徴付けています。 私たちの結果は、PyTorchのバグはディープラーニングの特徴よりも、従来のソフトウェアプロジェクトのバグに近いことを強調しています。
  論文  参考訳（メタデータ） (2023-07-25T19:23:55Z)
• WELL: Applying Bug Detectors to Bug Localization via Weakly Supervised Learning [37.09621161662761]
  本稿では,バグローカライゼーションモデルをトレーニングするためのWEakly supervised bug LocaLization (WELL) 手法を提案する。 CodeBERTはバギーまたはノーのバイナリラベル付きデータに基づいて微調整されるため、WELLはバグのローカライゼーションを弱教師付きで解決することができる。
  論文  参考訳（メタデータ） (2023-05-27T06:34:26Z)
• BigIssue: A Realistic Bug Localization Benchmark [89.8240118116093]
  BigIssueは、現実的なバグローカライゼーションのためのベンチマークである。 実際のJavaバグと合成Javaバグの多様性を備えた一般的なベンチマークを提供する。 われわれは,バグローカライゼーションの最先端技術として,APRの性能向上と,現代の開発サイクルへの適用性の向上を期待している。
  論文  参考訳（メタデータ） (2022-07-21T20:17:53Z)
• DapStep: Deep Assignee Prediction for Stack Trace Error rePresentation [61.99379022383108]
  本稿では,バグトリアージ問題を解決するための新しいディープラーニングモデルを提案する。 モデルは、注目された双方向のリカレントニューラルネットワークと畳み込みニューラルネットワークに基づいている。 ランキングの質を向上させるために,バージョン管理システムのアノテーションから追加情報を利用することを提案する。
  論文  参考訳（メタデータ） (2022-01-14T00:16:57Z)
• Knowledge as Invariance -- History and Perspectives of Knowledge-augmented Machine Learning [69.99522650448213]
  機械学習の研究は転換点にある。 研究の関心は、高度にパラメータ化されたモデルのパフォーマンス向上から、非常に具体的なタスクへとシフトしている。 このホワイトペーパーは、機械学習研究におけるこの新興分野の紹介と議論を提供する。
  論文  参考訳（メタデータ） (2020-12-21T15:07:19Z)
• Bayesian active learning for production, a systematic study and a reusable library [85.32971950095742]
  本稿では,現在のアクティブラーニング技術の主な欠点について分析する。 実世界のデータセットの最も一般的な課題が深層能動学習プロセスに与える影響について,系統的研究を行った。 部分的不確実性サンプリングやより大きいクエリサイズといった,アクティブな学習ループを高速化する2つの手法を導出する。
  論文  参考訳（メタデータ） (2020-06-17T14:51:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。