論文の概要: Terra: Imperative-Symbolic Co-Execution of Imperative Deep Learning Programs

• arxiv url: http://arxiv.org/abs/2201.09210v1
• Date: Sun, 23 Jan 2022 09:04:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-26 12:12:51.629093
• Title: Terra: Imperative-Symbolic Co-Execution of Imperative Deep Learning Programs
• Title（参考訳）: Terra: インペラティブディープラーニングプログラムのインペラティブ・シンボリック共同実行
• Authors: Taebum Kim, Eunji Jeong, Geon-Woo Kim, Yunmo Koo, Sehoon Kim, Gyeong-In Yu, Byung-Gon Chun
• Abstract要約: 命令型プログラミングにより、ユーザはディープニューラルネットワーク(DNN)を簡単に実装できる。 命令型プログラミングのユーザビリティとシンボルグラフ実行の最適化性能を組み合わせるために,いくつかのシステムが提案されている。 本稿では,任意の命令型DLプログラムを処理し,シンボルグラフ実行の最適化性能を実現した命令型共実行システムTerraを提案する。
• 参考スコア（独自算出の注目度）: 7.656446581986389
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Imperative programming allows users to implement their deep neural networks (DNNs) easily and has become an essential part of recent deep learning (DL) frameworks. Recently, several systems have been proposed to combine the usability of imperative programming with the optimized performance of symbolic graph execution. Such systems convert imperative Python DL programs to optimized symbolic graphs and execute them. However, they cannot fully support the usability of imperative programming. For example, if an imperative DL program contains a Python feature with no corresponding symbolic representation (e.g., third-party library calls or unsupported dynamic control flows) they fail to execute the program. To overcome this limitation, we propose Terra, an imperative-symbolic co-execution system that can handle any imperative DL programs while achieving the optimized performance of symbolic graph execution. To achieve this, Terra builds a symbolic graph by decoupling DL operations from Python features. Then, Terra conducts the imperative execution to support all Python features, while delegating the decoupled operations to the symbolic execution. We evaluated the performance improvement and coverage of Terra with ten imperative DL programs for several DNN architectures. The results show that Terra can speed up the execution of all ten imperative DL programs, whereas AutoGraph, one of the state-of-the-art systems, fails to execute five of them.
• Abstract（参考訳）: 命令型プログラミングにより、ユーザはディープニューラルネットワーク(DNN)を簡単に実装でき、最近のディープラーニング(DL)フレームワークの重要な部分になった。 近年,命令型プログラミングのユーザビリティと記号グラフ実行の最適化性能を併用するシステムが提案されている。 このようなシステムは命令型Python DLプログラムを最適化されたシンボルグラフに変換し、それらを実行する。 しかし、命令型プログラミングのユーザビリティを完全にはサポートできない。 例えば、命令型DLプログラムに対応するシンボル表現を持たないPython機能(例えば、サードパーティのライブラリ呼び出しやサポート対象の動的制御フロー)がある場合、プログラムの実行に失敗する。 この制限を克服するために,シンボルグラフ実行の最適化性能を達成しつつ,命令型DLプログラムを処理可能な命令型共実行システムTerraを提案する。 これを実現するため、terraはpythonの機能からdl操作を分離してシンボリックグラフを構築する。 次にTerraは、すべてのPython機能をサポートするために命令実行を実行し、分離された操作をシンボル実行に委譲する。 いくつかのDNNアーキテクチャを対象とした10個の命令型DLプログラムによるTerraの性能改善とカバレッジを評価した。 その結果、Terraは10の命令型DLプログラムの実行を高速化できる一方で、最先端システムの1つであるAutoGraphは5つの実行に失敗していることがわかった。

関連論文リスト

• Dolphin: A Programmable Framework for Scalable Neurosymbolic Learning [18.50192747078987]
  本稿では,シンボルプログラムの前方連鎖と後方勾配の伝播をベクトル化計算にマッピングすることにより,ニューロシンボリック学習を基本レベルでスケールする枠組みを提案する。 Dolphin氏は、PyTorchのような高性能なディープラーニングフレームワークの上に構築された一連の抽象化とプリミティブを紹介した。 我々はDolphinを、テキスト、画像、ビデオ処理のディープラーニングモデルとシンボリックプログラムを組み合わせた5つのニューロシンボリックタスクの13のベンチマークスイートで評価した。
  論文  参考訳（メタデータ） (2024-10-04T12:12:36Z)
• NAMER: Non-Autoregressive Modeling for Handwritten Mathematical Expression Recognition [80.22784377150465]
  手書き数学的表現認識(HMER)は、文書理解における多種多様な応用のために、パターン認識において大きな注目を集めている。 本稿では,HMERのためのボトムアップ非自己回帰モデリング手法であるNAMERを初めて構築する。 NAMERは、VAT(Visual Aware Tokenizer)とPGD(Parallel Graph)を備える。
  論文  参考訳（メタデータ） (2024-07-16T04:52:39Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• NExT: Teaching Large Language Models to Reason about Code Execution [50.93581376646064]
  大規模言語モデル(LLM)のコードは通常、プログラムの表面テキスト形式に基づいて訓練される。 NExTは,プログラムの実行トレースを検査し,実行時の動作を判断する手法である。
  論文  参考訳（メタデータ） (2024-04-23T01:46:32Z)
• Towards Safe Automated Refactoring of Imperative Deep Learning Programs to Graph Execution [4.786072763033669]
  より自然な、エラーの少ない命令型DLフレームワークは、実行時のパフォーマンスを犠牲にして、熱心な実行を奨励しています。 我々は、開発者が命令型DLコードをグラフとして確実に効率的に実行できるかどうかを規定する自動化アプローチについて、現在進行中の作業について紹介する。 このアプローチはPyDev Eclipseプラグインとして実装されており、WALA Ariadne分析フレームワークを使用している。
  論文  参考訳（メタデータ） (2023-08-22T20:50:19Z)
• DyCL: Dynamic Neural Network Compilation Via Program Rewriting and Graph Optimization [8.701484095864744]
  Toolは、既存のDLコンパイラがDyNNをうまくコンパイルできる一般的なアプローチである。 ツールは、動的ニューラルネットワークを複数のサブニューラルネットワークに変換することで、DyNNの動的性質に取り組む。 ツールによって生成されたコンパイル可能な実行ファイルはパフォーマンスが大幅に向上し、汎用DLフレームワーク上で実行されるオリジナルのDyNNよりも1.12times$から20.21times$高速に動作する。
  論文  参考訳（メタデータ） (2023-07-11T01:53:19Z)
• Natural Language to Code Translation with Execution [82.52142893010563]
  実行結果-プログラム選択のための最小ベイズリスク復号化。 そこで本研究では,自然言語からコードへのタスクにおいて,事前訓練されたコードモデルの性能を向上することを示す。
  論文  参考訳（メタデータ） (2022-04-25T06:06:08Z)
• Challenges in Migrating Imperative Deep Learning Programs to Graph Execution: An Empirical Study [4.415977307120617]
  我々は、信頼できるがパフォーマンスのよい命令型DLコードを書くことに関わる課題と結果のバグを、データ駆動で分析します。 命令型DLコードを効果的にハイブリダイズするために、いくつかの推奨事項、ベストプラクティス、アンチパターンを提示しました。
  論文  参考訳（メタデータ） (2022-01-24T21:12:38Z)
• High-performance symbolic-numerics via multiple dispatch [52.77024349608834]
  Symbolics.jlは拡張可能なシンボルシステムで、動的多重ディスパッチを使用してドメインのニーズに応じて振る舞いを変更する。 実装に依存しないアクションでジェネリックapiを形式化することで、システムに最適化されたデータ構造を遡及的に追加できることを示します。 従来の用語書き換えシンプリファイアと電子グラフベースの用語書き換えシンプリファイアをスワップする機能を実証する。
  論文  参考訳（メタデータ） (2021-05-09T14:22:43Z)
• GRAPHSPY: Fused Program Semantic-Level Embedding via Graph Neural Networks for Dead Store Detection [4.82596017481926]
  低オーバーヘッドで不必要なメモリ操作をインテリジェントに識別するための学習精度の高いアプローチを提案する。 プログラムセマンティクスの抽出にいくつかの有意なグラフニューラルネットワークモデルを適用することにより,新しいハイブリッドなプログラム埋め込み手法を提案する。 その結果、我々のモデルは精度の90%を達成でき、最先端ツールのオーバーヘッドの半分程度しか発生しないことがわかった。
  論文  参考訳（メタデータ） (2020-11-18T19:17:15Z)
• Learning to Execute Programs with Instruction Pointer Attention Graph Neural Networks [55.98291376393561]
  グラフニューラルネットワーク(GNN)は、ソフトウェアエンジニアリングタスクを学習するための強力なツールとして登場した。 リカレントニューラルネットワーク(RNN)は、長いシーケンシャルな推論の連鎖に適しているが、プログラム構造を自然に組み込んでいるわけではない。 本稿では,新しいGNNアーキテクチャ,IPA-GNN(Instruction Pointer Attention Graph Neural Networks)を導入する。
  論文  参考訳（メタデータ） (2020-10-23T19:12:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。