論文の概要: Speculative Automated Refactoring of Imperative Deep Learning Programs to Graph Execution

• arxiv url: http://arxiv.org/abs/2504.05424v2
• Date: Tue, 03 Jun 2025 15:01:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.080507
• Title: Speculative Automated Refactoring of Imperative Deep Learning Programs to Graph Execution
• Title（参考訳）: グラフ実行のための命令型ディープラーニングプログラムの投機的自動リファクタリング
• Authors: Raffi Khatchadourian, Tatiana Castro Vélez, Mehdi Bagherzadeh, Nan Jia, Anita Raja,
• Abstract要約: 成長を続けるデータセット、特にディープラーニング(DL)システムのサポートは不可欠である。 DLフレームワークは伝統的に遅延実行スタイルのDLコードを採用してきた -- シンボリックでグラフベースのDeep Neural Network(DNN)をサポートする。 本稿では,命令型DL関数をグラフとして効果的かつ効率的に実行できるかどうかを開発者が判断するのを支援する自動手法を提案する。
• 参考スコア（独自算出の注目度）: 4.461099699060121
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Efficiency is essential to support ever-growing datasets, especially for Deep Learning (DL) systems. DL frameworks have traditionally embraced deferred execution-style DL code -- supporting symbolic, graph-based Deep Neural Network (DNN) computation. While scalable, such development is error-prone, non-intuitive, and difficult to debug. Consequently, more natural, imperative DL frameworks encouraging eager execution have emerged but at the expense of run-time performance. Though hybrid approaches aim for the "best of both worlds," using them effectively requires subtle considerations. Our key insight is that, while DL programs typically execute sequentially, hybridizing imperative DL code resembles parallelizing sequential code in traditional systems. Inspired by this, we present an automated refactoring approach that assists developers in determining which otherwise eagerly-executed imperative DL functions could be effectively and efficiently executed as graphs. The approach features novel static imperative tensor and side-effect analyses for Python. Due to its inherent dynamism, analyzing Python may be unsound; however, the conservative approach leverages a speculative (keyword-based) analysis for resolving difficult cases that informs developers of any assumptions made. The approach is: (i) implemented as a plug-in to the PyDev Eclipse IDE that integrates the WALA Ariadne analysis framework and (ii) evaluated on nineteen DL projects consisting of 132 KLOC. The results show that 326 of 766 candidate functions (42.56%) were refactorable, and an average relative speedup of 2.16 on performance tests was observed with negligible differences in model accuracy. The results indicate that the approach is useful in optimizing imperative DL code to its full potential.
• Abstract（参考訳）: 効率性は、特にディープラーニング(DL)システムにおいて、成長を続けるデータセットをサポートするために不可欠である。 DLフレームワークは伝統的に遅延実行スタイルのDLコードを採用しており、シンボリックなグラフベースのDeep Neural Network(DNN)計算をサポートしている。 拡張性はあるものの、そのような開発はエラーを起こしやすく、直感的でなく、デバッグが難しい。 その結果、より自然な命令型DLフレームワークが出現したが、実行時のパフォーマンスを犠牲にしている。 ハイブリッドアプローチは「両方の世界のベスト」を目指しているが、効果的にそれを利用するには微妙な考慮が必要である。 我々の重要な洞察は、DLプログラムは典型的にはシーケンシャルに実行されるが、命令型DLコードのハイブリッド化は、従来のシステムにおけるシーケンシャルなコードの並列化に似ているということである。 そこで我々は,命令型DL関数がグラフとして効果的かつ効率的に実行可能であるかを決定する上で,開発者が支援する自動リファクタリング手法を提案する。 このアプローチは、Python用の新しい静的命令テンソルとサイドエフェクト分析を備えている。 本質的にのダイナミズムのため、Pythonの分析は正しくないかもしれないが、保守的なアプローチでは、推測的(キーワードベースの)分析を活用して、難しいケースを解決し、開発者はどんな仮定も教えてくれる。 アプローチは次の通りです。 i) PyDev Eclipse IDEのプラグインとして実装され、WALA Ariadne分析フレームワークと統合されている。 (II)132個のKLOCからなる19個のDLプロジェクトについて検討した。 その結果、766の候補関数のうち326(42.56%)がリファクタリング可能であり、平均相対速度2.16はモデル精度に違いが認められなかった。 その結果,本手法は命令型DLコードをその潜在能力を最大限に最適化するのに有用であることが示唆された。

関連論文リスト

• DARS: Dynamic Action Re-Sampling to Enhance Coding Agent Performance by Adaptive Tree Traversal [55.13854171147104]
  大規模言語モデル(LLM)は、自然言語処理、データ分析、ソフトウェア開発など、さまざまな領域に革命をもたらした。 符号化エージェントのための新しい推論時間計算スケーリングアプローチである動的アクション再サンプリング(DARS)を提案する。 我々は、SWE-Bench Liteベンチマークに対する我々のアプローチを評価し、このスケーリング戦略がClude 3.5 Sonnet V2で55%のパス@kスコアを達成したことを実証した。
  論文  参考訳（メタデータ） (2025-03-18T14:02:59Z)
• Efficient Deep Learning Board: Training Feedback Is Not All You Need [28.910266386748525]
  自動性能予測とコンポーネントレコメンデーションのための革新的なディープラーニングボードであるEfficientDLを提案する。 トレーニングのフィードバックがない魔法は、提案した包括的で多次元できめ細かいシステムコンポーネントデータセットから来ています。 例えば、EfficientDLはResNet50、MobileNetV3、EfficientNet-B0、MaxViT-T、Swin-B、DaViT-Tといった主流モデルとシームレスに動作する。
  論文  参考訳（メタデータ） (2024-10-17T14:43:34Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• Towards Safe Automated Refactoring of Imperative Deep Learning Programs to Graph Execution [4.786072763033669]
  より自然な、エラーの少ない命令型DLフレームワークは、実行時のパフォーマンスを犠牲にして、熱心な実行を奨励しています。 我々は、開発者が命令型DLコードをグラフとして確実に効率的に実行できるかどうかを規定する自動化アプローチについて、現在進行中の作業について紹介する。 このアプローチはPyDev Eclipseプラグインとして実装されており、WALA Ariadne分析フレームワークを使用している。
  論文  参考訳（メタデータ） (2023-08-22T20:50:19Z)
• Improving Dual-Encoder Training through Dynamic Indexes for Negative Mining [61.09807522366773]
  本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。 我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
  論文  参考訳（メタデータ） (2023-03-27T15:18:32Z)
• Slapo: A Schedule Language for Progressive Optimization of Large Deep Learning Model Training [17.556432199389615]
  Slapoは、テンソルレベルの演算子の実行をその算術的定義から切り離すスケジュール言語である。 SlapoはNVIDIA V100 GPUを8台搭載した1台のマシンで最大2.92倍のトレーニングスループットを向上できることを示す。
  論文  参考訳（メタデータ） (2023-02-16T00:34:53Z)
• Challenges in Migrating Imperative Deep Learning Programs to Graph Execution: An Empirical Study [4.415977307120617]
  我々は、信頼できるがパフォーマンスのよい命令型DLコードを書くことに関わる課題と結果のバグを、データ駆動で分析します。 命令型DLコードを効果的にハイブリダイズするために、いくつかの推奨事項、ベストプラクティス、アンチパターンを提示しました。
  論文  参考訳（メタデータ） (2022-01-24T21:12:38Z)
• Terra: Imperative-Symbolic Co-Execution of Imperative Deep Learning Programs [7.656446581986389]
  命令型プログラミングにより、ユーザはディープニューラルネットワーク(DNN)を簡単に実装できる。 命令型プログラミングのユーザビリティとシンボルグラフ実行の最適化性能を組み合わせるために,いくつかのシステムが提案されている。 本稿では,任意の命令型DLプログラムを処理し,シンボルグラフ実行の最適化性能を実現した命令型共実行システムTerraを提案する。
  論文  参考訳（メタデータ） (2022-01-23T09:04:48Z)
• Highly Parallel Autoregressive Entity Linking with Discriminative Correction [51.947280241185]
  自己回帰リンクを全ての潜在的な言及に対して並列化する,非常に効率的な手法を提案する。 我々のモデルは以前の生成法より70倍高速で精度が高い。
  論文  参考訳（メタデータ） (2021-09-08T17:28:26Z)
• Software Vulnerability Detection via Deep Learning over Disaggregated Code Graph Representation [57.92972327649165]
  この研究は、コードコーパスから安全でないパターンを自動的に学習するためのディープラーニングアプローチを探求する。 コードには解析を伴うグラフ構造が自然に認められるため,プログラムの意味的文脈と構造的規則性の両方を利用する新しいグラフニューラルネットワーク(GNN)を開発する。
  論文  参考訳（メタデータ） (2021-09-07T21:24:36Z)
• PolyDL: Polyhedral Optimizations for Creation of High Performance DL primitives [55.79741270235602]
  本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。 我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。 また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-06-02T06:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。