論文の概要: Towards Safe Automated Refactoring of Imperative Deep Learning Programs
to Graph Execution
- arxiv url: http://arxiv.org/abs/2308.11785v2
- Date: Tue, 10 Oct 2023 18:12:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 13:19:26.508102
- Title: Towards Safe Automated Refactoring of Imperative Deep Learning Programs
to Graph Execution
- Title（参考訳）: グラフ実行のための命令型ディープラーニングプログラムの安全なリファクタリングに向けて
- Authors: Raffi Khatchadourian, Tatiana Castro V\'elez, Mehdi Bagherzadeh, Nan
Jia, Anita Raja
- Abstract要約: より自然な、エラーの少ない命令型DLフレームワークは、実行時のパフォーマンスを犠牲にして、熱心な実行を奨励しています。
我々は、開発者が命令型DLコードをグラフとして確実に効率的に実行できるかどうかを規定する自動化アプローチについて、現在進行中の作業について紹介する。
このアプローチはPyDev Eclipseプラグインとして実装されており、WALA Ariadne分析フレームワークを使用している。
- 参考スコア（独自算出の注目度）: 4.786072763033669
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Efficiency is essential to support responsiveness w.r.t. ever-growing
datasets, especially for Deep Learning (DL) systems. DL frameworks have
traditionally embraced deferred execution-style DL code -- supporting symbolic,
graph-based Deep Neural Network (DNN) computation. While scalable, such
development tends to produce code that is error-prone, non-intuitive, and
difficult to debug. Consequently, more natural, less error-prone imperative DL
frameworks encouraging eager execution have emerged at the expense of run-time
performance. Though hybrid approaches aim for the "best of both worlds," using
them effectively requires subtle considerations to make code amenable to safe,
accurate, and efficient graph execution -- avoiding performance bottlenecks and
semantically inequivalent results. We present our ongoing work on an automated
refactoring approach that assists developers in specifying whether and how
their otherwise eagerly-executed imperative DL code could be reliably and
efficiently executed as graphs at run-time in a semantics-preserving fashion.
The approach, based on a novel tensor analysis specifically for imperative DL
code, consists of refactoring preconditions for automatically determining when
it is safe and potentially advantageous to migrate imperative DL code to graph
execution and modifying decorator parameters or eagerly executing code already
running as graphs. The approach is being implemented as a PyDev Eclipse IDE
plug-in and uses the WALA Ariadne analysis framework. We discuss our ongoing
work towards optimizing imperative DL code to its full potential.
- Abstract（参考訳）: 効率性は、特にディープラーニング(DL)システムにおいて、継続的に成長するデータセットに対する応答性をサポートするために不可欠である。
DLフレームワークは伝統的に遅延実行スタイルのDLコードを採用しており、シンボリックなグラフベースのDeep Neural Network(DNN)計算をサポートしている。
スケーラブルだが、そのような開発はエラーを起こしやすい、直感的でない、デバッグが難しいコードを生成する傾向がある。
その結果、実行時のパフォーマンスを犠牲にして、より自然でよりエラーが発生しやすいdlフレームワークが生まれました。
ハイブリッドアプローチは"両方の世界のベスト"を目標としているが、それらを効果的に使用するには、コードを安全で正確で効率的なグラフ実行に適応させるために、微妙な考慮が必要である。
提案手法では,実行時のグラフをセマンティクス保存形式で確実に効率的に実行可能であるかどうかを開発者が特定するのに役立つ自動リファクタリング手法を提案する。
このアプローチは、命令型DLコードに特化した新しいテンソル分析に基づいて、命令型DLコードが安全かつ潜在的に有利なタイミングでグラフ実行に移行し、デコレータパラメータを変更したり、すでにグラフとして実行されているコードを自動的に実行するためのリファクタリング条件で構成されている。
このアプローチは、PyDev Eclipse IDEプラグインとして実装され、WALA Ariadne分析フレームワークを使用している。
命令型DLコードをその潜在能力を最大限に最適化する作業について検討する。
関連論文リスト
- TRACED: Execution-aware Pre-training for Source Code [24.101763959136058]
TRACEDは、ソースコードに対する実行対応事前学習戦略である。
私たちの目標は、事前トレーニング中に複雑な実行ロジックをコードモデルに教えることです。
TRACEDは静的に事前訓練されたコードモデルを、完全な実行パス予測では12.4%、実行時変数値予測では25.2%改善している。
論文 参考訳（メタデータ） (2023-06-13T01:30:14Z) - CONCORD: Clone-aware Contrastive Learning for Source Code [64.51161487524436]
セルフ教師付き事前トレーニングは、多くのダウンストリームSEタスクに価値のあるジェネリックコード表現を学ぶための牽引役になった。
汎用的な表現学習のために、開発者が日々どのようにコードをコーディングするかは、要因としても不可欠である、と私たちは主張する。
特に,表現空間に良性クローンを近づける自己教師型コントラスト学習戦略であるCONCORDを提案する。
論文 参考訳（メタデータ） (2023-06-05T20:39:08Z) - A Unified Active Learning Framework for Annotating Graph Data with
Application to Software Source Code Performance Prediction [4.572330678291241]
ソフトウェアの性能予測を専門とする一貫したアクティブラーニングフレームワークを開発した。
能動的・受動的学習に異なるレベルの情報を用いることが与える影響について検討する。
我々のアプローチは、異なるソフトウェアパフォーマンス予測のためのAIモデルへの投資を改善することを目的としています。
論文 参考訳（メタデータ） (2023-04-06T14:00:48Z) - ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。
我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-03-15T08:25:08Z) - Challenges in Migrating Imperative Deep Learning Programs to Graph
Execution: An Empirical Study [4.415977307120617]
我々は、信頼できるがパフォーマンスのよい命令型DLコードを書くことに関わる課題と結果のバグを、データ駆動で分析します。
命令型DLコードを効果的にハイブリダイズするために、いくつかの推奨事項、ベストプラクティス、アンチパターンを提示しました。
論文 参考訳（メタデータ） (2022-01-24T21:12:38Z) - Terra: Imperative-Symbolic Co-Execution of Imperative Deep Learning
Programs [7.656446581986389]
命令型プログラミングにより、ユーザはディープニューラルネットワーク(DNN)を簡単に実装できる。
命令型プログラミングのユーザビリティとシンボルグラフ実行の最適化性能を組み合わせるために,いくつかのシステムが提案されている。
本稿では,任意の命令型DLプログラムを処理し,シンボルグラフ実行の最適化性能を実現した命令型共実行システムTerraを提案する。
論文 参考訳（メタデータ） (2022-01-23T09:04:48Z) - Software Vulnerability Detection via Deep Learning over Disaggregated
Code Graph Representation [57.92972327649165]
この研究は、コードコーパスから安全でないパターンを自動的に学習するためのディープラーニングアプローチを探求する。
コードには解析を伴うグラフ構造が自然に認められるため,プログラムの意味的文脈と構造的規則性の両方を利用する新しいグラフニューラルネットワーク(GNN)を開発する。
論文 参考訳（メタデータ） (2021-09-07T21:24:36Z) - CogDL: A Comprehensive Library for Graph Deep Learning [55.694091294633054]
研究者や実践者が実験を行い、メソッドを比較し、簡単かつ効率的にアプリケーションを構築することができるグラフ深層学習ライブラリであるCogDLを紹介します。
CogDLでは,様々なグラフタスクに対するGNNモデルのトレーニングと評価のための統一設計を提案し,既存のグラフ学習ライブラリに固有のものである。
我々はCogDLのための効率的なスパース演算子を開発し、効率性のための最も競争力のあるグラフライブラリとなる。
論文 参考訳（メタデータ） (2021-03-01T12:35:16Z) - PolyDL: Polyhedral Optimizations for Creation of High Performance DL
primitives [55.79741270235602]
本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。
我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。
また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
論文 参考訳（メタデータ） (2020-06-02T06:44:09Z) - Auto-Encoding Twin-Bottleneck Hashing [141.5378966676885]
本稿では,効率よく適応的なコード駆動グラフを提案する。
自動エンコーダのコンテキストでデコードすることで更新される。
ベンチマークデータセットの実験は、最先端のハッシュ手法よりもフレームワークの方が優れていることを明らかに示しています。
論文 参考訳（メタデータ） (2020-02-27T05:58:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。