論文の概要: Towards Safe Automated Refactoring of Imperative Deep Learning Programs to Graph Execution

• arxiv url: http://arxiv.org/abs/2308.11785v2
• Date: Tue, 10 Oct 2023 18:12:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 13:19:26.508102
• Title: Towards Safe Automated Refactoring of Imperative Deep Learning Programs to Graph Execution
• Title（参考訳）: グラフ実行のための命令型ディープラーニングプログラムの安全なリファクタリングに向けて
• Authors: Raffi Khatchadourian, Tatiana Castro V\'elez, Mehdi Bagherzadeh, Nan Jia, Anita Raja
• Abstract要約: より自然な、エラーの少ない命令型DLフレームワークは、実行時のパフォーマンスを犠牲にして、熱心な実行を奨励しています。 我々は、開発者が命令型DLコードをグラフとして確実に効率的に実行できるかどうかを規定する自動化アプローチについて、現在進行中の作業について紹介する。 このアプローチはPyDev Eclipseプラグインとして実装されており、WALA Ariadne分析フレームワークを使用している。
• 参考スコア（独自算出の注目度）: 4.786072763033669
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Efficiency is essential to support responsiveness w.r.t. ever-growing datasets, especially for Deep Learning (DL) systems. DL frameworks have traditionally embraced deferred execution-style DL code -- supporting symbolic, graph-based Deep Neural Network (DNN) computation. While scalable, such development tends to produce code that is error-prone, non-intuitive, and difficult to debug. Consequently, more natural, less error-prone imperative DL frameworks encouraging eager execution have emerged at the expense of run-time performance. Though hybrid approaches aim for the "best of both worlds," using them effectively requires subtle considerations to make code amenable to safe, accurate, and efficient graph execution -- avoiding performance bottlenecks and semantically inequivalent results. We present our ongoing work on an automated refactoring approach that assists developers in specifying whether and how their otherwise eagerly-executed imperative DL code could be reliably and efficiently executed as graphs at run-time in a semantics-preserving fashion. The approach, based on a novel tensor analysis specifically for imperative DL code, consists of refactoring preconditions for automatically determining when it is safe and potentially advantageous to migrate imperative DL code to graph execution and modifying decorator parameters or eagerly executing code already running as graphs. The approach is being implemented as a PyDev Eclipse IDE plug-in and uses the WALA Ariadne analysis framework. We discuss our ongoing work towards optimizing imperative DL code to its full potential.
• Abstract（参考訳）: 効率性は、特にディープラーニング(DL)システムにおいて、継続的に成長するデータセットに対する応答性をサポートするために不可欠である。 DLフレームワークは伝統的に遅延実行スタイルのDLコードを採用しており、シンボリックなグラフベースのDeep Neural Network(DNN)計算をサポートしている。 スケーラブルだが、そのような開発はエラーを起こしやすい、直感的でない、デバッグが難しいコードを生成する傾向がある。 その結果、実行時のパフォーマンスを犠牲にして、より自然でよりエラーが発生しやすいdlフレームワークが生まれました。 ハイブリッドアプローチは"両方の世界のベスト"を目標としているが、それらを効果的に使用するには、コードを安全で正確で効率的なグラフ実行に適応させるために、微妙な考慮が必要である。 提案手法では,実行時のグラフをセマンティクス保存形式で確実に効率的に実行可能であるかどうかを開発者が特定するのに役立つ自動リファクタリング手法を提案する。 このアプローチは、命令型DLコードに特化した新しいテンソル分析に基づいて、命令型DLコードが安全かつ潜在的に有利なタイミングでグラフ実行に移行し、デコレータパラメータを変更したり、すでにグラフとして実行されているコードを自動的に実行するためのリファクタリング条件で構成されている。 このアプローチは、PyDev Eclipse IDEプラグインとして実装され、WALA Ariadne分析フレームワークを使用している。 命令型DLコードをその潜在能力を最大限に最適化する作業について検討する。

関連論文リスト

• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Learning to Predict Program Execution by Modeling Dynamic Dependency on Code Graphs [11.347234752942684]
  本稿では,コードカバレッジを予測し,実行時のエラーを検出するための,新しい機械学習ベースのフレームワークであるCodeFlowを紹介する。 CodeFlowは、可能なすべての実行パスと、異なるステートメント間の関係を表現します。 実行中のステートメント間の影響を反映した実行トレースを通じて動的依存関係を学習する。
  論文  参考訳（メタデータ） (2024-08-05T20:32:00Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• TRACED: Execution-aware Pre-training for Source Code [24.101763959136058]
  TRACEDは、ソースコードに対する実行対応事前学習戦略である。 私たちの目標は、事前トレーニング中に複雑な実行ロジックをコードモデルに教えることです。 TRACEDは静的に事前訓練されたコードモデルを、完全な実行パス予測では12.4%、実行時変数値予測では25.2%改善している。
  論文  参考訳（メタデータ） (2023-06-13T01:30:14Z)
• CONCORD: Clone-aware Contrastive Learning for Source Code [64.51161487524436]
  セルフ教師付き事前トレーニングは、多くのダウンストリームSEタスクに価値のあるジェネリックコード表現を学ぶための牽引役になった。 汎用的な表現学習のために、開発者が日々どのようにコードをコーディングするかは、要因としても不可欠である、と私たちは主張する。 特に,表現空間に良性クローンを近づける自己教師型コントラスト学習戦略であるCONCORDを提案する。
  論文  参考訳（メタデータ） (2023-06-05T20:39:08Z)
• ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
  本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。 我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-03-15T08:25:08Z)
• Challenges in Migrating Imperative Deep Learning Programs to Graph Execution: An Empirical Study [4.415977307120617]
  我々は、信頼できるがパフォーマンスのよい命令型DLコードを書くことに関わる課題と結果のバグを、データ駆動で分析します。 命令型DLコードを効果的にハイブリダイズするために、いくつかの推奨事項、ベストプラクティス、アンチパターンを提示しました。
  論文  参考訳（メタデータ） (2022-01-24T21:12:38Z)
• Terra: Imperative-Symbolic Co-Execution of Imperative Deep Learning Programs [7.656446581986389]
  命令型プログラミングにより、ユーザはディープニューラルネットワーク(DNN)を簡単に実装できる。 命令型プログラミングのユーザビリティとシンボルグラフ実行の最適化性能を組み合わせるために,いくつかのシステムが提案されている。 本稿では,任意の命令型DLプログラムを処理し,シンボルグラフ実行の最適化性能を実現した命令型共実行システムTerraを提案する。
  論文  参考訳（メタデータ） (2022-01-23T09:04:48Z)
• Software Vulnerability Detection via Deep Learning over Disaggregated Code Graph Representation [57.92972327649165]
  この研究は、コードコーパスから安全でないパターンを自動的に学習するためのディープラーニングアプローチを探求する。 コードには解析を伴うグラフ構造が自然に認められるため,プログラムの意味的文脈と構造的規則性の両方を利用する新しいグラフニューラルネットワーク(GNN)を開発する。
  論文  参考訳（メタデータ） (2021-09-07T21:24:36Z)
• PolyDL: Polyhedral Optimizations for Creation of High Performance DL primitives [55.79741270235602]
  本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。 我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。 また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-06-02T06:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。