論文の概要: Challenges in Migrating Imperative Deep Learning Programs to Graph Execution: An Empirical Study

• arxiv url: http://arxiv.org/abs/2201.09953v1
• Date: Mon, 24 Jan 2022 21:12:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-26 16:54:43.883639
• Title: Challenges in Migrating Imperative Deep Learning Programs to Graph Execution: An Empirical Study
• Title（参考訳）: インペラティブ深層学習プログラムのグラフ実行への転換の課題--実証的研究
• Authors: Tatiana Castro V\'elez, Raffi Khatchadourian, Mehdi Bagherzadeh, Anita Raja
• Abstract要約: 我々は、信頼できるがパフォーマンスのよい命令型DLコードを書くことに関わる課題と結果のバグを、データ駆動で分析します。 命令型DLコードを効果的にハイブリダイズするために、いくつかの推奨事項、ベストプラクティス、アンチパターンを提示しました。
• 参考スコア（独自算出の注目度）: 4.415977307120617
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Efficiency is essential to support responsiveness w.r.t. ever-growing datasets, especially for Deep Learning (DL) systems. DL frameworks have traditionally embraced deferred execution-style DL code that supports symbolic, graph-based Deep Neural Network (DNN) computation. While scalable, such development tends to produce DL code that is error-prone, non-intuitive, and difficult to debug. Consequently, more natural, less error-prone imperative DL frameworks encouraging eager execution have emerged but at the expense of run-time performance. While hybrid approaches aim for the "best of both worlds," the challenges in applying them in the real world are largely unknown. We conduct a data-driven analysis of challenges -- and resultant bugs -- involved in writing reliable yet performant imperative DL code by studying 250 open-source projects, consisting of 19.7 MLOC, along with 470 and 446 manually examined code patches and bug reports, respectively. The results indicate that hybridization: (i) is prone to API misuse, (ii) can result in performance degradation -- the opposite of its intention, and (iii) has limited application due to execution mode incompatibility. We put forth several recommendations, best practices, and anti-patterns for effectively hybridizing imperative DL code, potentially benefiting DL practitioners, API designers, tool developers, and educators.
• Abstract（参考訳）: 効率性は、特にディープラーニング(DL)システムにおいて、継続的に成長するデータセットに対する応答性をサポートするために不可欠である。 DLフレームワークは伝統的に、グラフベースのDeep Neural Network(DNN)計算をサポートする遅延実行スタイルのDLコードを採用してきた。 拡張性はあるものの、そのような開発は、エラーを起こしやすい、直感的でない、デバッグが難しいDLコードを生成する傾向があります。 その結果、より自然に、よりエラーを起こしやすいdlフレームワークが熱心に実行を奨励するが、実行時のパフォーマンスは犠牲になる。 ハイブリッドアプローチは「両方の世界のベスト」を目指しているが、それらを現実世界に適用する際の課題はほとんど不明である。 19.7のMLOCと470と446の手作業によるコードパッチとバグレポートで構成された、250のオープンソースプロジェクトを調査することで、信頼性に富んだ命令型DLコードを書くことに関わる、課題と結果として生じるバグに関するデータ駆動分析を行います。 その結果,ハイブリッド化が示唆された。 (i)apiを誤用しがちである。 (ii)はパフォーマンスの劣化を引き起こす可能性がある -- その意図とは逆で、 (iii)実行モードの非互換性による適用が制限されている。 私たちは、命令型dlコードを効果的にハイブリダイズするための推奨、ベストプラクティス、アンチパターンをいくつか発表しました。

関連論文リスト

• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Science-Informed Deep Learning (ScIDL) With Applications to Wireless Communications [11.472232944923558]
  本稿では,ScIDL(Science-informed Deep Learning)に関するチュートリアルを紹介する。 ScIDLは、既存の科学知識をDL技術と統合し、より強力なアルゴリズムを開発することを目的としている。 我々は、ScidLの最近の応用と、無線通信分野における今後の研究方向性について論じる。
  論文  参考訳（メタデータ） (2024-06-29T02:35:39Z)
• On the Worst Prompt Performance of Large Language Models [93.13542053835542]
  大規模言語モデル(LLM)の性能は,プロンプトの表現に非常に敏感である。 セマンティックに等価なケースレベルのクエリで構成される新しいベンチマークであるRobustAlpacaEvalを紹介する。 RobustAlpacaEvalとChatGPT、およびLlama、Mistral、Gemmaファミリーの6つのオープンソースLLMによる実験により、モデル性能のかなりのばらつきが明らかになった。
  論文  参考訳（メタデータ） (2024-06-08T13:40:38Z)
• DLAP: A Deep Learning Augmented Large Language Model Prompting Framework for Software Vulnerability Detection [12.686480870065827]
  本稿では,ディープラーニング(DL)モデルとLLM(Large Language Models)モデルの両方を最大限に組み合わせて,例外的な脆弱性検出性能を実現するフレームワークである textbfDLAP について述べる。 実験の結果、DLAPは、ロールベースのプロンプト、補助情報プロンプト、チェーン・オブ・シントプロンプト、コンテキスト内学習プロンプトなど、最先端のプロンプトフレームワークより優れていることが確認された。
  論文  参考訳（メタデータ） (2024-05-02T11:44:52Z)
• Towards Safe Automated Refactoring of Imperative Deep Learning Programs to Graph Execution [4.786072763033669]
  より自然な、エラーの少ない命令型DLフレームワークは、実行時のパフォーマンスを犠牲にして、熱心な実行を奨励しています。 我々は、開発者が命令型DLコードをグラフとして確実に効率的に実行できるかどうかを規定する自動化アプローチについて、現在進行中の作業について紹介する。 このアプローチはPyDev Eclipseプラグインとして実装されており、WALA Ariadne分析フレームワークを使用している。
  論文  参考訳（メタデータ） (2023-08-22T20:50:19Z)
• NAPG: Non-Autoregressive Program Generation for Hybrid Tabular-Textual Question Answering [52.10214317661547]
  現在の数値推論法はプログラムシーケンスを自己回帰的にデコードする。 プログラム生成の精度は、デコードステップがエラー伝搬によって展開されるにつれて急激に低下する。 本稿では,非自己回帰型プログラム生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-07T11:25:21Z)
• DeepFD: Automated Fault Diagnosis and Localization for Deep Learning Programs [15.081278640511998]
  DeepFDは学習ベースの障害診断およびローカライゼーションフレームワークである。 フォールトローカライゼーションタスクを学習問題にマップする。 52%の欠陥DLプログラムを正しく診断し、最先端の成果によって達成された約半分(27%)と比較する。
  論文  参考訳（メタデータ） (2022-05-04T08:15:56Z)
• Automatic Fault Detection for Deep Learning Programs Using Graph Transformations [13.572917264310119]
  ディープラーニングプログラムのためのモデルに基づく故障検出手法であるNeuraLintを提案する。 NeuraLintは、70.5%のリコールと100%の精度で、合成および実世界の両方の例の欠陥と設計上の問題を効果的に検出する。 提案するメタモデルはフィードフォワードニューラルネットワーク用に設計されているが、他のニューラルネットワークアーキテクチャをサポートするように拡張することができる。
  論文  参考訳（メタデータ） (2021-05-17T18:06:11Z)
• CogDL: A Comprehensive Library for Graph Deep Learning [55.694091294633054]
  研究者や実践者が実験を行い、メソッドを比較し、簡単かつ効率的にアプリケーションを構築することができるグラフ深層学習ライブラリであるCogDLを紹介します。 CogDLでは,様々なグラフタスクに対するGNNモデルのトレーニングと評価のための統一設計を提案し,既存のグラフ学習ライブラリに固有のものである。 我々はCogDLのための効率的なスパース演算子を開発し、効率性のための最も競争力のあるグラフライブラリとなる。
  論文  参考訳（メタデータ） (2021-03-01T12:35:16Z)
• A Survey of Deep Active Learning [54.376820959917005]
  アクティブラーニング(AL)は、最も少ないサンプルをマークすることで、モデルの性能向上を最大化しようとする。 ディープラーニング(DL)はデータに対して欲張りであり、大量のパラメータを最適化するために大量のデータ供給を必要とする。 ディープラーニング(Deep Active Learning, DAL)が誕生した。
  論文  参考訳（メタデータ） (2020-08-30T04:28:31Z)
• PolyDL: Polyhedral Optimizations for Creation of High Performance DL primitives [55.79741270235602]
  本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。 我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。 また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-06-02T06:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。