論文の概要: Demystifying Dependency Bugs in Deep Learning Stack

• arxiv url: http://arxiv.org/abs/2207.10347v2
• Date: Fri, 1 Sep 2023 16:54:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 15:17:59.388843
• Title: Demystifying Dependency Bugs in Deep Learning Stack
• Title（参考訳）: ディープラーニングスタックにおける依存性バグの最小化
• Authors: Kaifeng Huang, Bihuan Chen, Susheng Wu, Junmin Cao, Lei Ma, Xin Peng
• Abstract要約: 本稿では、Deep Learningスタック全体にわたる依存性バグ(DB)の症状、根本原因、修正パターンを特徴付ける。 以上の結果から,依存性管理の実践的意義が明らかとなった。
• 参考スコア（独自算出の注目度）: 7.488059560714949
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning (DL) applications, built upon a heterogeneous and complex DL stack (e.g., Nvidia GPU, Linux, CUDA driver, Python runtime, and TensorFlow), are subject to software and hardware dependencies across the DL stack. One challenge in dependency management across the entire engineering lifecycle is posed by the asynchronous and radical evolution and the complex version constraints among dependencies. Developers may introduce dependency bugs (DBs) in selecting, using and maintaining dependencies. However, the characteristics of DBs in DL stack is still under-investigated, hindering practical solutions to dependency management in DL stack. To bridge this gap, this paper presents the first comprehensive study to characterize symptoms, root causes and fix patterns of DBs across the whole DL stack with 446 DBs collected from StackOverflow posts and GitHub issues. For each DB, we first investigate the symptom as well as the lifecycle stage and dependency where the symptom is exposed. Then, we analyze the root cause as well as the lifecycle stage and dependency where the root cause is introduced. Finally, we explore the fix pattern and the knowledge sources that are used to fix it. Our findings from this study shed light on practical implications on dependency management.
• Abstract（参考訳）: ディープラーニング(DL)アプリケーションは、異種で複雑なDLスタック(Nvidia GPU、Linux、CUDAドライバ、Pythonランタイム、TensorFlowなど)の上に構築され、DLスタック全体にわたるソフトウェアとハードウェアの依存関係を被る。 エンジニアリングライフサイクル全体にわたる依存性管理の課題の1つは、非同期で急進的な進化と依存関係間の複雑なバージョン制約によって引き起こされる。 開発者は依存関係の選択、使用、メンテナンスに依存性バグ(DB)を導入することができる。 しかし、DLスタックのDBの特性はまだ未定であり、DLスタックの依存性管理に対する実践的な解決策を妨げている。 このギャップを埋めるため,本研究では,stackoverflow ポストおよび github 課題から収集した 446 db を用いて,dl スタック全体の db の症状,根本原因,修正パターンを特徴付ける最初の包括的な研究を行う。 各DBについて、まず、症状が露出するライフサイクルステージと依存性と同様に、症状を調査する。 次に、根本原因とライフサイクルステージと、根本原因が導入された依存性を分析する。 最後に、修正パターンと修正に使用される知識ソースについて検討する。 本研究から得られた知見は,依存性管理の実践的意義を浮き彫りにした。

関連論文リスト

• A Preliminary Study on Self-Contained Libraries in the NPM Ecosystem [2.221643499902673]
  現代のソフトウェアエコシステムにおけるライブラリの普及は、依存関係の複雑なネットワークを生み出します。 依存関係がゼロのライブラリは自己完結型になる。 本稿では,NPMエコシステムにおける自己完結型ライブラリの特徴について考察する。
  論文  参考訳（メタデータ） (2024-06-17T09:33:49Z)
• How to Understand Whole Software Repository? [64.19431011897515]
  リポジトリ全体に対する優れた理解は、自動ソフトウェアエンジニアリング(ASE)への重要な道になるでしょう。 本研究では,リポジトリ全体を包括的に理解するためのエージェントによるRepoUnderstanderという新しい手法を開発した。 リポジトリレベルの知識をより活用するために、エージェントをまとめ、分析し、計画する。
  論文  参考訳（メタデータ） (2024-06-03T15:20:06Z)
• An empirical study of bloated dependencies in CommonJS packages [6.115666382910127]
  サーバサイドアプリケーションで完全に使用されていない肥大化した依存関係を調査するために、実証的研究を行う。 本稿では,ファイルアクセスを監視し,実行中にどの依存関係がアクセスされないかを決定するトレースベースの動的解析手法を提案する。 以上の結果から,パッケージマネージャにおける依存性のデブロ化に対するネイティブサポートは,依存関係維持の負担を大幅に軽減する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-28T08:04:01Z)
• See to Believe: Using Visualization To Motivate Updating Third-party Dependencies [1.7914660044009358]
  サードパーティの依存関係を使用したアプリケーションによって導入されたセキュリティ脆弱性が増加している。 開発者はライブラリのアップデートに注意を払っており、脆弱性の修正にも注意している。 本稿では、依存性グラフ可視化(DGV)アプローチが、開発者が更新を動機付けると仮定する。
  論文  参考訳（メタデータ） (2024-05-15T03:57:27Z)
• Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
  根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。 ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。 また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
  論文  参考訳（メタデータ） (2024-02-04T05:50:38Z)
• Less is More? An Empirical Study on Configuration Issues in Python PyPI Ecosystem [38.44692482370243]
  Pythonはオープンソースコミュニティで広く使われている。 サードパーティのライブラリは依存関係の衝突を引き起こす可能性があるため、研究者は依存関係の衝突検知器を開発する必要がある。 依存関係を自動的に推論する試みが実施された。
  論文  参考訳（メタデータ） (2023-10-19T09:07:51Z)
• PyRCA: A Library for Metric-based Root Cause Analysis [66.72542200701807]
  PyRCAは、AIOps(AIOps)のためのRoot Cause Analysis(RCA)のオープンソースの機械学習ライブラリである。 複雑なメトリクス因果依存性を明らかにし、インシデントの根本原因を自動的に特定する、包括的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-06-20T09:55:10Z)
• SequeL: A Continual Learning Library in PyTorch and JAX [50.33956216274694]
  SequeLは継続学習のためのライブラリで、PyTorchとJAXフレームワークの両方をサポートする。 それは、正規化ベースのアプローチ、リプレイベースのアプローチ、ハイブリッドアプローチを含む、幅広い連続学習アルゴリズムのための統一インターフェースを提供する。 私たちはSequeLをオープンソースライブラリとしてリリースし、研究者や開発者が自身の目的で簡単にライブラリを実験し拡張することができます。
  論文  参考訳（メタデータ） (2023-04-21T10:00:22Z)
• A Data Source Dependency Analysis Framework for Large Scale Data Science Projects [0.0]
  データソース依存地獄(Data source dependency hell)は、データと、しばしば機械学習モデルの予期せぬ失敗に繋がるユニークなクイックが果たす中心的な役割を指す。 MLOpsエンジニアは、高速なペースのエンジニアリング環境で、モデルの依存性マップ全体を監視できる自動依存性マッピングフレームワークを提示する。
  論文  参考訳（メタデータ） (2022-12-15T16:34:39Z)
• Deep Transfer Learning for Multi-source Entity Linkage via Domain Adaptation [63.24594955429465]
  マルチソースエンティティリンクは、データのクリーニングやユーザ縫合といった、高インパクトなアプリケーションにおいて重要である。 AdaMELは、多ソースエンティティリンクを実行するための一般的なハイレベルな知識を学ぶディープトランスファー学習フレームワークである。 本フレームワークは,教師付き学習に基づく平均的手法よりも8.21%向上した最先端の学習結果を実現する。
  論文  参考訳（メタデータ） (2021-10-27T15:20:41Z)
• KILT: a Benchmark for Knowledge Intensive Language Tasks [102.33046195554886]
  知識集約型言語タスク(KILT)のベンチマークを示す。 KILTのすべてのタスクはウィキペディアのスナップショットと同じだ。 共有密度ベクトル指数とSeq2seqモデルとの結合が強いベースラインであることが分かる。
  論文  参考訳（メタデータ） (2020-09-04T15:32:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。