論文の概要: Terra: Imperative-Symbolic Co-Execution of Imperative Deep Learning
Programs
- arxiv url: http://arxiv.org/abs/2201.09210v1
- Date: Sun, 23 Jan 2022 09:04:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-26 12:12:51.629093
- Title: Terra: Imperative-Symbolic Co-Execution of Imperative Deep Learning
Programs
- Title(参考訳): Terra: インペラティブディープラーニングプログラムのインペラティブ・シンボリック共同実行
- Authors: Taebum Kim, Eunji Jeong, Geon-Woo Kim, Yunmo Koo, Sehoon Kim,
Gyeong-In Yu, Byung-Gon Chun
- Abstract要約: 命令型プログラミングにより、ユーザはディープニューラルネットワーク(DNN)を簡単に実装できる。
命令型プログラミングのユーザビリティとシンボルグラフ実行の最適化性能を組み合わせるために,いくつかのシステムが提案されている。
本稿では,任意の命令型DLプログラムを処理し,シンボルグラフ実行の最適化性能を実現した命令型共実行システムTerraを提案する。
- 参考スコア(独自算出の注目度): 7.656446581986389
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Imperative programming allows users to implement their deep neural networks
(DNNs) easily and has become an essential part of recent deep learning (DL)
frameworks. Recently, several systems have been proposed to combine the
usability of imperative programming with the optimized performance of symbolic
graph execution. Such systems convert imperative Python DL programs to
optimized symbolic graphs and execute them. However, they cannot fully support
the usability of imperative programming. For example, if an imperative DL
program contains a Python feature with no corresponding symbolic representation
(e.g., third-party library calls or unsupported dynamic control flows) they
fail to execute the program. To overcome this limitation, we propose Terra, an
imperative-symbolic co-execution system that can handle any imperative DL
programs while achieving the optimized performance of symbolic graph execution.
To achieve this, Terra builds a symbolic graph by decoupling DL operations from
Python features. Then, Terra conducts the imperative execution to support all
Python features, while delegating the decoupled operations to the symbolic
execution. We evaluated the performance improvement and coverage of Terra with
ten imperative DL programs for several DNN architectures. The results show that
Terra can speed up the execution of all ten imperative DL programs, whereas
AutoGraph, one of the state-of-the-art systems, fails to execute five of them.
- Abstract(参考訳): 命令型プログラミングにより、ユーザはディープニューラルネットワーク(DNN)を簡単に実装でき、最近のディープラーニング(DL)フレームワークの重要な部分になった。
近年,命令型プログラミングのユーザビリティと記号グラフ実行の最適化性能を併用するシステムが提案されている。
このようなシステムは命令型Python DLプログラムを最適化されたシンボルグラフに変換し、それらを実行する。
しかし、命令型プログラミングのユーザビリティを完全にはサポートできない。
例えば、命令型DLプログラムに対応するシンボル表現を持たないPython機能(例えば、サードパーティのライブラリ呼び出しやサポート対象の動的制御フロー)がある場合、プログラムの実行に失敗する。
この制限を克服するために,シンボルグラフ実行の最適化性能を達成しつつ,命令型DLプログラムを処理可能な命令型共実行システムTerraを提案する。
これを実現するため、terraはpythonの機能からdl操作を分離してシンボリックグラフを構築する。
次にTerraは、すべてのPython機能をサポートするために命令実行を実行し、分離された操作をシンボル実行に委譲する。
いくつかのDNNアーキテクチャを対象とした10個の命令型DLプログラムによるTerraの性能改善とカバレッジを評価した。
その結果、Terraは10の命令型DLプログラムの実行を高速化できる一方で、最先端システムの1つであるAutoGraphは5つの実行に失敗していることがわかった。
関連論文リスト
- Natural Language Embedded Programs for Hybrid Language Symbolic
Reasoning [86.92053166457116]
本研究では,数学・記号的推論,自然言語理解,後続の課題に対処するための統合フレームワークとして,自然言語組み込みプログラム(NLEP)を提案する。
我々のアプローチは,構造化知識の自然言語表現を含むデータ構造上の関数を定義する完全なPythonプログラムを生成するよう,言語モデルに促す。
Pythonインタープリタが生成されたコードを実行し、出力をプリントする。
論文 参考訳(メタデータ) (2023-09-19T17:54:21Z) - Towards Safe Automated Refactoring of Imperative Deep Learning Programs
to Graph Execution [4.786072763033669]
より自然な、エラーの少ない命令型DLフレームワークは、実行時のパフォーマンスを犠牲にして、熱心な実行を奨励しています。
我々は、開発者が命令型DLコードをグラフとして確実に効率的に実行できるかどうかを規定する自動化アプローチについて、現在進行中の作業について紹介する。
このアプローチはPyDev Eclipseプラグインとして実装されており、WALA Ariadne分析フレームワークを使用している。
論文 参考訳(メタデータ) (2023-08-22T20:50:19Z) - Automatic Task Parallelization of Dataflow Graphs in ML/DL models [0.0]
本稿では,MLデータフローグラフに固有の並列パスを利用する線形クラスタリング手法を提案する。
我々はONNX形式で入力MLモデルから可読かつ実行可能な並列Pytorch+Pythonコードを生成する。
いくつかのMLグラフの予備結果は、シリアル実行よりも1.9$times$スピードアップである。
論文 参考訳(メタデータ) (2023-08-22T04:54:30Z) - DyCL: Dynamic Neural Network Compilation Via Program Rewriting and Graph
Optimization [8.701484095864744]
Toolは、既存のDLコンパイラがDyNNをうまくコンパイルできる一般的なアプローチである。
ツールは、動的ニューラルネットワークを複数のサブニューラルネットワークに変換することで、DyNNの動的性質に取り組む。
ツールによって生成されたコンパイル可能な実行ファイルはパフォーマンスが大幅に向上し、汎用DLフレームワーク上で実行されるオリジナルのDyNNよりも1.12times$から20.21times$高速に動作する。
論文 参考訳(メタデータ) (2023-07-11T01:53:19Z) - NAPG: Non-Autoregressive Program Generation for Hybrid Tabular-Textual
Question Answering [52.10214317661547]
現在の数値推論法はプログラムシーケンスを自己回帰的にデコードする。
プログラム生成の精度は、デコードステップがエラー伝搬によって展開されるにつれて急激に低下する。
本稿では,非自己回帰型プログラム生成フレームワークを提案する。
論文 参考訳(メタデータ) (2022-11-07T11:25:21Z) - Natural Language to Code Translation with Execution [82.52142893010563]
実行結果-プログラム選択のための最小ベイズリスク復号化。
そこで本研究では,自然言語からコードへのタスクにおいて,事前訓練されたコードモデルの性能を向上することを示す。
論文 参考訳(メタデータ) (2022-04-25T06:06:08Z) - Challenges in Migrating Imperative Deep Learning Programs to Graph
Execution: An Empirical Study [4.415977307120617]
我々は、信頼できるがパフォーマンスのよい命令型DLコードを書くことに関わる課題と結果のバグを、データ駆動で分析します。
命令型DLコードを効果的にハイブリダイズするために、いくつかの推奨事項、ベストプラクティス、アンチパターンを提示しました。
論文 参考訳(メタデータ) (2022-01-24T21:12:38Z) - High-performance symbolic-numerics via multiple dispatch [52.77024349608834]
Symbolics.jlは拡張可能なシンボルシステムで、動的多重ディスパッチを使用してドメインのニーズに応じて振る舞いを変更する。
実装に依存しないアクションでジェネリックapiを形式化することで、システムに最適化されたデータ構造を遡及的に追加できることを示します。
従来の用語書き換えシンプリファイアと電子グラフベースの用語書き換えシンプリファイアをスワップする機能を実証する。
論文 参考訳(メタデータ) (2021-05-09T14:22:43Z) - GRAPHSPY: Fused Program Semantic-Level Embedding via Graph Neural
Networks for Dead Store Detection [4.82596017481926]
低オーバーヘッドで不必要なメモリ操作をインテリジェントに識別するための学習精度の高いアプローチを提案する。
プログラムセマンティクスの抽出にいくつかの有意なグラフニューラルネットワークモデルを適用することにより,新しいハイブリッドなプログラム埋め込み手法を提案する。
その結果、我々のモデルは精度の90%を達成でき、最先端ツールのオーバーヘッドの半分程度しか発生しないことがわかった。
論文 参考訳(メタデータ) (2020-11-18T19:17:15Z) - Learning to Execute Programs with Instruction Pointer Attention Graph
Neural Networks [55.98291376393561]
グラフニューラルネットワーク(GNN)は、ソフトウェアエンジニアリングタスクを学習するための強力なツールとして登場した。
リカレントニューラルネットワーク(RNN)は、長いシーケンシャルな推論の連鎖に適しているが、プログラム構造を自然に組み込んでいるわけではない。
本稿では,新しいGNNアーキテクチャ,IPA-GNN(Instruction Pointer Attention Graph Neural Networks)を導入する。
論文 参考訳(メタデータ) (2020-10-23T19:12:30Z) - PolyDL: Polyhedral Optimizations for Creation of High Performance DL
primitives [55.79741270235602]
本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。
我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。
また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
論文 参考訳(メタデータ) (2020-06-02T06:44:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。