論文の概要: The Deep Learning Compiler: A Comprehensive Survey
- arxiv url: http://arxiv.org/abs/2002.03794v4
- Date: Fri, 28 Aug 2020 09:19:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 13:33:46.479368
- Title: The Deep Learning Compiler: A Comprehensive Survey
- Title(参考訳): deep learning compiler: 包括的な調査
- Authors: Mingzhen Li, Yi Liu, Xiaoyan Liu, Qingxiao Sun, Xin You, Hailong Yang,
Zhongzhi Luan, Lin Gan, Guangwen Yang, Depei Qian
- Abstract要約: 我々は、広く採用されている設計を詳細に分離し、既存のDLコンパイラを網羅的に調査する。
具体的には、様々な側面から既存のDLコンパイラを総合的に比較する。
- 参考スコア(独自算出の注目度): 16.19025439622745
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The difficulty of deploying various deep learning (DL) models on diverse DL
hardware has boosted the research and development of DL compilers in the
community. Several DL compilers have been proposed from both industry and
academia such as Tensorflow XLA and TVM. Similarly, the DL compilers take the
DL models described in different DL frameworks as input, and then generate
optimized codes for diverse DL hardware as output. However, none of the
existing survey has analyzed the unique design architecture of the DL compilers
comprehensively. In this paper, we perform a comprehensive survey of existing
DL compilers by dissecting the commonly adopted design in details, with
emphasis on the DL oriented multi-level IRs, and frontend/backend
optimizations. Specifically, we provide a comprehensive comparison among
existing DL compilers from various aspects. In addition, we present detailed
analysis on the design of multi-level IRs and illustrate the commonly adopted
optimization techniques. Finally, several insights are highlighted as the
potential research directions of DL compiler. This is the first survey paper
focusing on the design architecture of DL compilers, which we hope can pave the
road for future research towards DL compiler.
- Abstract(参考訳): 多様なDLハードウェア上に様々なディープラーニング(DL)モデルをデプロイすることの難しさにより、コミュニティにおけるDLコンパイラの研究と開発が促進された。
いくつかのDLコンパイラは、Tensorflow XLAやTVMのような業界と学術の両方から提案されている。
同様に、DLコンパイラは異なるDLフレームワークで記述されたDLモデルを入力とし、様々なDLハードウェアに対して最適化されたコードを生成する。
しかし、既存の調査ではdlコンパイラのユニークな設計アーキテクチャを包括的に分析していない。
本稿では、DL指向多レベルIRとフロントエンド/バックエンド最適化に重点を置いて、広く採用されている設計を詳細に分離し、既存のDLコンパイラを網羅的に調査する。
具体的には、様々な側面から既存のDLコンパイラと比較する。
さらに,多レベルirsの設計に関する詳細な分析を行い,広く採用されている最適化手法について述べる。
最後に、DLコンパイラの潜在的な研究方向性として、いくつかの洞察が強調されている。
dlコンパイラの設計アーキテクチャに焦点を当てた最初の調査論文であり、dlコンパイラに対する今後の研究への道を開くことを願っている。
関連論文リスト
- Serving Deep Learning Model in Relational Databases [72.72372281808694]
リレーショナルデータ上での深層学習(DL)モデルの実現は、様々な商業分野や科学分野において重要な要件となっている。
最先端のDL-Centricアーキテクチャは、DL計算を専用のDLフレームワークにオフロードします。
UDF-Centricアーキテクチャは、データベースシステム内の1つ以上のテンソル計算をユーザ定義関数(UDF)にカプセル化する。
potentialRelation-Centricアーキテクチャは、演算子による大規模テンソル計算を表現することを目的としている。
論文 参考訳(メタデータ) (2023-10-07T06:01:35Z) - Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor
Abstractions on CPU Architectures [101.36990944099105]
この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。
1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。
我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2023-04-25T05:04:44Z) - A Comprehensive Benchmark of Deep Learning Libraries on Mobile Devices [12.342282138576348]
6つの代表的なDL libと15の多様化DLモデルを含むベンチマークを構築した。
次に10台のモバイルデバイスで広範な実験を行い、現在のモバイルDL libsエコシステムの全体像を明らかにするのに役立ちます。
最高のパフォーマンスのDL libは、さまざまなモデルやハードウェアで著しく断片化されています。
論文 参考訳(メタデータ) (2022-02-14T07:00:31Z) - Design Smells in Deep Learning Programs: An Empirical Study [9.112172220055431]
DL(Deep Learning)プログラムにおける設計の臭いは、DLコンポーネントの開発時に行われる設計や構成上の判断が貧弱である。
我々は、人気のあるDLアーキテクチャ、すなわちディープフィードフォワードニューラルネットワークのための8つの設計臭いのカタログを提示する。
論文 参考訳(メタデータ) (2021-07-05T21:26:05Z) - Tensor Processing Primitives: A Programming Abstraction for Efficiency
and Portability in Deep Learning Workloads [86.62083829086393]
このプロセスプリミティブ(TPP、Processing Primitives)は、高い生産性を持つDeep Learning-Workloadの効率的でポータブルな実装を目指すプログラミング抽象化である。
TPPは、高次元テンソル上の複素作用素を構成するためにビルディングブロックとして使用できる2Dテンソル作用素(または仮想ISA)のコンパクトで汎用的な集合を定義する。
我々は,スタンドアロンカーネルとTLPで表現されたエンドツーエンドのDLワークロードによるアプローチの有効性を実証し,複数のプラットフォーム上での最先端実装よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-04-12T18:35:49Z) - Scalable Deep-Learning-Accelerated Topology Optimization for Additively
Manufactured Materials [4.221095652322005]
トポロジー最適化(TO)は、新しい構造、材料、デバイスを設計するための、人気があり強力な計算手法である。
これらの課題に対処するため、SDL-TOと呼ばれる汎用拡張型ディープラーニング(DL)ベースのToフレームワークを提案する。
我々のフレームワークは、反復履歴データを学習し、与えられた設計と勾配のマッピングを同時にトレーニングすることで、TOを加速します。
論文 参考訳(メタデータ) (2020-11-28T17:38:31Z) - CorDEL: A Contrastive Deep Learning Approach for Entity Linkage [70.82533554253335]
エンティティリンケージ(EL)は、データのクリーニングと統合において重要な問題である。
新たなデータの増加に伴い、ディープラーニング(DL)ベースのアプローチが提案され、従来のモデルに付随するELの高コスト化が図られている。
我々は、ツインネットワークアーキテクチャはELに準最適であり、既存のモデルに固有の欠点をもたらすと主張している。
論文 参考訳(メタデータ) (2020-09-15T16:33:05Z) - A Survey of Deep Active Learning [54.376820959917005]
アクティブラーニング(AL)は、最も少ないサンプルをマークすることで、モデルの性能向上を最大化しようとする。
ディープラーニング(DL)はデータに対して欲張りであり、大量のパラメータを最適化するために大量のデータ供給を必要とする。
ディープラーニング(Deep Active Learning, DAL)が誕生した。
論文 参考訳(メタデータ) (2020-08-30T04:28:31Z) - PolyDL: Polyhedral Optimizations for Creation of High Performance DL
primitives [55.79741270235602]
本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。
我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。
また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
論文 参考訳(メタデータ) (2020-06-02T06:44:09Z) - Deep Learning for Source Code Modeling and Generation: Models,
Applications and Challenges [5.4052819252055055]
自然言語処理のためのディープラーニング(DL)技術は急速に進化してきた。
近年,言語モデリング,機械翻訳,段落理解の進歩が目覚ましいため,ソフトウェア工学におけるDLの可能性を見落とせない。
論文 参考訳(メタデータ) (2020-02-13T11:02:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。