論文の概要: Towards Enhancing the Reproducibility of Deep Learning Bugs: An Empirical Study

• arxiv url: http://arxiv.org/abs/2401.03069v1
• Date: Fri, 5 Jan 2024 21:30:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 20:49:52.805179
• Title: Towards Enhancing the Reproducibility of Deep Learning Bugs: An Empirical Study
• Title（参考訳）: 深層学習バグの再現性向上に向けた実証的研究
• Authors: Mehil B. Shah, Mohammad Masudur Rahman, Foutse Khomh
• Abstract要約: ディープラーニングシステムには、重大な影響を与えるバグが含まれている。 既存の文献では、ディープラーニングのバグのわずか3%が再現可能である。 我々は、深層学習のバグ解決を改善するための編集動作と有用な情報を識別する。
• 参考スコア（独自算出の注目度）: 14.805160344313785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Context: Deep learning has achieved remarkable progress in various domains. However, like traditional software systems, deep learning systems contain bugs, which can have severe impacts, as evidenced by crashes involving autonomous vehicles. Despite substantial advancements in deep learning techniques, little research has focused on reproducing deep learning bugs, which hinders resolving them. Existing literature suggests that only 3% of deep learning bugs are reproducible, underscoring the need for further research. Objective: This paper examines the reproducibility of deep learning bugs. We identify edit actions and useful information that could improve deep learning bug reproducibility. Method: First, we construct a dataset of 668 deep learning bugs from Stack Overflow and Defects4ML across 3 frameworks and 22 architectures. Second, we select 102 bugs using stratified sampling and try to determine their reproducibility. While reproducing these bugs, we identify edit actions and useful information necessary for their reproduction. Third, we used the Apriori algorithm to identify useful information and edit actions required to reproduce specific bug types. Finally, we conduct a user study with 22 developers to assess the effectiveness of our findings in real-life settings. Results: We successfully reproduced 85 bugs and identified ten edit actions and five useful information categories that can help us reproduce deep learning bugs. Our findings improved bug reproducibility by 22.92% and reduced reproduction time by 24.35% based on our user study. Conclusions: Our research addresses the critical issue of deep learning bug reproducibility. Practitioners and researchers can leverage our findings to improve deep learning bug reproducibility.
• Abstract（参考訳）: コンテキスト: ディープラーニングはさまざまな領域で著しく進歩しています。 しかし、従来のソフトウェアシステムと同様に、ディープラーニングシステムにはバグが含まれており、自動運転車によるクラッシュによって証明されるような深刻な影響がある。 ディープラーニング技術の大幅な進歩にもかかわらず、ディープラーニングのバグを再現することに注力する研究はほとんどない。 既存の文献では、深層学習バグのわずか3%が再現可能であり、さらなる研究の必要性を強調している。 目的: 深層学習バグの再現性を検討する。 我々は、深層学習バグ再現性を改善するための編集アクションと有用な情報を特定する。 メソッド: まず、Stack OverflowとDefects4MLから3つのフレームワークと22のアーキテクチャで668のディープラーニングバグのデータセットを構築します。 次に、階層化サンプリングを用いて102のバグを選択し、再現性を決定する。 これらのバグを再現しながら、編集動作とそれらの再生に必要な有用な情報を識別する。 第3に, aprioriアルゴリズムを用いて有用な情報を特定し, 特定のバグタイプを再現するために必要なアクションを編集した。 最後に,22人の開発者を対象に,実生活環境における発見の有効性を評価する。 結果:85のバグを再現し,10の編集動作と5つの有用な情報カテゴリを特定し,深層学習バグの再現に役立てた。 その結果, バグ再現性が22.92%向上し, 再現時間が24.35%低下した。 結論:本研究は,ディープラーニングバグ再現性の重要な問題に対処する。 専門家や研究者は、この発見を利用してディープラーニングバグ再現性を向上させることができる。

関連論文リスト

• Understanding Code Understandability Improvements in Code Reviews [79.16476505761582]
  GitHub上のJavaオープンソースプロジェクトからの2,401のコードレビューコメントを分析した。 改善提案の83.9%が承認され、統合され、1%未満が後に復活した。
  論文  参考訳（メタデータ） (2024-10-29T12:21:23Z)
• Towards Understanding the Challenges of Bug Localization in Deep Learning Systems [2.9312156642007294]
  我々は、ディープラーニングシステムにおけるバグのローカライズに関する課題をより深く理解するために、大規模な実証的研究を行っている。 まず,ディープラーニングシステムの2,365バグと,従来のソフトウェアによる2,913バグを用いて,既存の4つのテクニックのバグローカライズ性能を判定する。 第2に,ディープラーニングシステムにおけるバグタイプの違いが,バグのローカライゼーションに与える影響を評価する。
  論文  参考訳（メタデータ） (2024-02-01T21:17:42Z)
• An Empirical Study on Bugs Inside PyTorch: A Replication Study [10.848682558737494]
  私たちは、非常に人気のあるディープラーニングフレームワークであるPyTorchライブラリのバグを特徴付けています。 私たちの結果は、PyTorchのバグはディープラーニングの特徴よりも、従来のソフトウェアプロジェクトのバグに近いことを強調しています。
  論文  参考訳（メタデータ） (2023-07-25T19:23:55Z)
• Prompting Is All You Need: Automated Android Bug Replay with Large Language Models [28.69675481931385]
  本稿では,バグ報告から迅速なエンジニアリングを通じてバグを自動的に再現する,新しい軽量なアプローチであるAdbGPTを提案する。 AdbGPTは、LLMから人間の知識と論理的推論を引き出すために、少数ショットの学習と連鎖推論を活用する。 この評価は,253.6秒で81.3%のバグレポートを再現するAdbGPTの有効性と有効性を示すものである。
  論文  参考訳（メタデータ） (2023-06-03T03:03:52Z)
• Using Developer Discussions to Guide Fixing Bugs in Software [51.00904399653609]
  我々は,タスク実行前に利用可能であり,また自然発生しているバグレポートの議論を,開発者による追加情報の必要性を回避して利用することを提案する。 このような議論から派生したさまざまな自然言語コンテキストがバグ修正に役立ち、オラクルのバグ修正コミットに対応するコミットメッセージの使用よりもパフォーマンスの向上につながることを実証する。
  論文  参考訳（メタデータ） (2022-11-11T16:37:33Z)
• BigIssue: A Realistic Bug Localization Benchmark [89.8240118116093]
  BigIssueは、現実的なバグローカライゼーションのためのベンチマークである。 実際のJavaバグと合成Javaバグの多様性を備えた一般的なベンチマークを提供する。 われわれは,バグローカライゼーションの最先端技術として,APRの性能向上と,現代の開発サイクルへの適用性の向上を期待している。
  論文  参考訳（メタデータ） (2022-07-21T20:17:53Z)
• Annotation Error Detection: Analyzing the Past and Present for a More Coherent Future [63.99570204416711]
  我々は、潜在的なアノテーションの誤りを検知するための18の手法を再実装し、9つの英語データセット上で評価する。 アノテーションエラー検出タスクの新しい形式化を含む一様評価設定を定義する。 私たちはデータセットと実装を,使いやすく,オープンソースのソフトウェアパッケージとしてリリースしています。
  論文  参考訳（メタデータ） (2022-06-05T22:31:45Z)
• DapStep: Deep Assignee Prediction for Stack Trace Error rePresentation [61.99379022383108]
  本稿では,バグトリアージ問題を解決するための新しいディープラーニングモデルを提案する。 モデルは、注目された双方向のリカレントニューラルネットワークと畳み込みニューラルネットワークに基づいている。 ランキングの質を向上させるために,バージョン管理システムのアノテーションから追加情報を利用することを提案する。
  論文  参考訳（メタデータ） (2022-01-14T00:16:57Z)
• Self-Supervised Bug Detection and Repair [27.46717890823656]
  本稿では,バグ検出と修復の自己教師型学習手法であるBugLabを紹介する。 BugLabのPython実装では、2374の実際のバグのテストデータセットのベースラインメソッドで最大30%改善されている。
  論文  参考訳（メタデータ） (2021-05-26T18:41:05Z)
• Bayesian active learning for production, a systematic study and a reusable library [85.32971950095742]
  本稿では,現在のアクティブラーニング技術の主な欠点について分析する。 実世界のデータセットの最も一般的な課題が深層能動学習プロセスに与える影響について,系統的研究を行った。 部分的不確実性サンプリングやより大きいクエリサイズといった,アクティブな学習ループを高速化する2つの手法を導出する。
  論文  参考訳（メタデータ） (2020-06-17T14:51:11Z)
• Advaita: Bug Duplicity Detection System [1.9624064951902522]
  重複バグ率(重複バグの%)は、製品の成熟度、コードのサイズ、プロジェクトに取り組んでいるエンジニアの数に基づいて、1桁(1～9%)から2桁(40%)の範囲にある。 重複の検出は、2つのバグが同じ意味を持つかどうかを識別する。 このアプローチでは、基本的なテキスト統計的特徴、意味的特徴、文脈的特徴など、複数の機能セットを考慮に入れている。
  論文  参考訳（メタデータ） (2020-01-24T04:48:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。