論文の概要: Challenges in Migrating Imperative Deep Learning Programs to Graph
Execution: An Empirical Study
- arxiv url: http://arxiv.org/abs/2201.09953v1
- Date: Mon, 24 Jan 2022 21:12:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-26 16:54:43.883639
- Title: Challenges in Migrating Imperative Deep Learning Programs to Graph
Execution: An Empirical Study
- Title(参考訳): インペラティブ深層学習プログラムのグラフ実行への転換の課題--実証的研究
- Authors: Tatiana Castro V\'elez, Raffi Khatchadourian, Mehdi Bagherzadeh, Anita
Raja
- Abstract要約: 我々は、信頼できるがパフォーマンスのよい命令型DLコードを書くことに関わる課題と結果のバグを、データ駆動で分析します。
命令型DLコードを効果的にハイブリダイズするために、いくつかの推奨事項、ベストプラクティス、アンチパターンを提示しました。
- 参考スコア(独自算出の注目度): 4.415977307120617
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Efficiency is essential to support responsiveness w.r.t. ever-growing
datasets, especially for Deep Learning (DL) systems. DL frameworks have
traditionally embraced deferred execution-style DL code that supports symbolic,
graph-based Deep Neural Network (DNN) computation. While scalable, such
development tends to produce DL code that is error-prone, non-intuitive, and
difficult to debug. Consequently, more natural, less error-prone imperative DL
frameworks encouraging eager execution have emerged but at the expense of
run-time performance. While hybrid approaches aim for the "best of both
worlds," the challenges in applying them in the real world are largely unknown.
We conduct a data-driven analysis of challenges -- and resultant bugs --
involved in writing reliable yet performant imperative DL code by studying 250
open-source projects, consisting of 19.7 MLOC, along with 470 and 446 manually
examined code patches and bug reports, respectively. The results indicate that
hybridization: (i) is prone to API misuse, (ii) can result in performance
degradation -- the opposite of its intention, and (iii) has limited application
due to execution mode incompatibility. We put forth several recommendations,
best practices, and anti-patterns for effectively hybridizing imperative DL
code, potentially benefiting DL practitioners, API designers, tool developers,
and educators.
- Abstract(参考訳): 効率性は、特にディープラーニング(DL)システムにおいて、継続的に成長するデータセットに対する応答性をサポートするために不可欠である。
DLフレームワークは伝統的に、グラフベースのDeep Neural Network(DNN)計算をサポートする遅延実行スタイルのDLコードを採用してきた。
拡張性はあるものの、そのような開発は、エラーを起こしやすい、直感的でない、デバッグが難しいDLコードを生成する傾向があります。
その結果、より自然に、よりエラーを起こしやすいdlフレームワークが熱心に実行を奨励するが、実行時のパフォーマンスは犠牲になる。
ハイブリッドアプローチは「両方の世界のベスト」を目指しているが、それらを現実世界に適用する際の課題はほとんど不明である。
19.7のMLOCと470と446の手作業によるコードパッチとバグレポートで構成された、250のオープンソースプロジェクトを調査することで、信頼性に富んだ命令型DLコードを書くことに関わる、課題と結果として生じるバグに関するデータ駆動分析を行います。
その結果,ハイブリッド化が示唆された。
(i)apiを誤用しがちである。
(ii)はパフォーマンスの劣化を引き起こす可能性がある -- その意図とは逆で、
(iii)実行モードの非互換性による適用が制限されている。
私たちは、命令型dlコードを効果的にハイブリダイズするための推奨、ベストプラクティス、アンチパターンをいくつか発表しました。
関連論文リスト
- Speculative Contrastive Decoding [55.378200871224074]
大規模言語モデル(LLM)は、言語タスクにおいて例外的な性能を示すが、その自動回帰推論は高い計算要求のために制限され、露出バイアスにより準最適である。
投機的復号法とコントラスト的復号法に着想を得て, 単純かつ強力な復号法である投機的コントラスト的復号法(SCD)を導入する。
論文 参考訳(メタデータ) (2023-11-15T14:15:30Z) - Towards Safe Automated Refactoring of Imperative Deep Learning Programs
to Graph Execution [4.786072763033669]
より自然な、エラーの少ない命令型DLフレームワークは、実行時のパフォーマンスを犠牲にして、熱心な実行を奨励しています。
我々は、開発者が命令型DLコードをグラフとして確実に効率的に実行できるかどうかを規定する自動化アプローチについて、現在進行中の作業について紹介する。
このアプローチはPyDev Eclipseプラグインとして実装されており、WALA Ariadne分析フレームワークを使用している。
論文 参考訳(メタデータ) (2023-08-22T20:50:19Z) - Improving Long-Horizon Imitation Through Instruction Prediction [93.47416552953075]
本研究では、しばしば使われない補助的監督源である言語の使用について検討する。
近年のトランスフォーマーモデルの発展にインスパイアされたエージェントは,高レベルの抽象化で動作する時間拡張表現の学習を促す命令予測損失を持つエージェントを訓練する。
さらなる分析では、複雑な推論を必要とするタスクにおいて、命令モデリングが最も重要であり、単純な計画を必要とする環境において、より小さなゲインを提供する。
論文 参考訳(メタデータ) (2023-06-21T20:47:23Z) - NAPG: Non-Autoregressive Program Generation for Hybrid Tabular-Textual
Question Answering [52.10214317661547]
現在の数値推論法はプログラムシーケンスを自己回帰的にデコードする。
プログラム生成の精度は、デコードステップがエラー伝搬によって展開されるにつれて急激に低下する。
本稿では,非自己回帰型プログラム生成フレームワークを提案する。
論文 参考訳(メタデータ) (2022-11-07T11:25:21Z) - Using Gradient to Boost the Generalization Performance of Deep Learning
Models for Fluid Dynamics [0.0]
本稿では,Deep Learningの一般化能力を高めるための新しい研究について述べる。
我々の戦略は、DLネットワークのより良い一般化に向けた良い結果を示している。
論文 参考訳(メタデータ) (2022-10-09T10:20:09Z) - DeepFD: Automated Fault Diagnosis and Localization for Deep Learning
Programs [15.081278640511998]
DeepFDは学習ベースの障害診断およびローカライゼーションフレームワークである。
フォールトローカライゼーションタスクを学習問題にマップする。
52%の欠陥DLプログラムを正しく診断し、最先端の成果によって達成された約半分(27%)と比較する。
論文 参考訳(メタデータ) (2022-05-04T08:15:56Z) - Terra: Imperative-Symbolic Co-Execution of Imperative Deep Learning
Programs [7.656446581986389]
命令型プログラミングにより、ユーザはディープニューラルネットワーク(DNN)を簡単に実装できる。
命令型プログラミングのユーザビリティとシンボルグラフ実行の最適化性能を組み合わせるために,いくつかのシステムが提案されている。
本稿では,任意の命令型DLプログラムを処理し,シンボルグラフ実行の最適化性能を実現した命令型共実行システムTerraを提案する。
論文 参考訳(メタデータ) (2022-01-23T09:04:48Z) - Automatic Fault Detection for Deep Learning Programs Using Graph
Transformations [13.572917264310119]
ディープラーニングプログラムのためのモデルに基づく故障検出手法であるNeuraLintを提案する。
NeuraLintは、70.5%のリコールと100%の精度で、合成および実世界の両方の例の欠陥と設計上の問題を効果的に検出する。
提案するメタモデルはフィードフォワードニューラルネットワーク用に設計されているが、他のニューラルネットワークアーキテクチャをサポートするように拡張することができる。
論文 参考訳(メタデータ) (2021-05-17T18:06:11Z) - CogDL: A Comprehensive Library for Graph Deep Learning [55.694091294633054]
研究者や実践者が実験を行い、メソッドを比較し、簡単かつ効率的にアプリケーションを構築することができるグラフ深層学習ライブラリであるCogDLを紹介します。
CogDLでは,様々なグラフタスクに対するGNNモデルのトレーニングと評価のための統一設計を提案し,既存のグラフ学習ライブラリに固有のものである。
我々はCogDLのための効率的なスパース演算子を開発し、効率性のための最も競争力のあるグラフライブラリとなる。
論文 参考訳(メタデータ) (2021-03-01T12:35:16Z) - A Survey of Deep Active Learning [54.376820959917005]
アクティブラーニング(AL)は、最も少ないサンプルをマークすることで、モデルの性能向上を最大化しようとする。
ディープラーニング(DL)はデータに対して欲張りであり、大量のパラメータを最適化するために大量のデータ供給を必要とする。
ディープラーニング(Deep Active Learning, DAL)が誕生した。
論文 参考訳(メタデータ) (2020-08-30T04:28:31Z) - PolyDL: Polyhedral Optimizations for Creation of High Performance DL
primitives [55.79741270235602]
本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。
我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。
また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
論文 参考訳(メタデータ) (2020-06-02T06:44:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。