論文の概要: The Deep Learning Compiler: A Comprehensive Survey

• arxiv url: http://arxiv.org/abs/2002.03794v4
• Date: Fri, 28 Aug 2020 09:19:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 13:33:46.479368
• Title: The Deep Learning Compiler: A Comprehensive Survey
• Title（参考訳）: deep learning compiler: 包括的な調査
• Authors: Mingzhen Li, Yi Liu, Xiaoyan Liu, Qingxiao Sun, Xin You, Hailong Yang, Zhongzhi Luan, Lin Gan, Guangwen Yang, Depei Qian
• Abstract要約: 我々は、広く採用されている設計を詳細に分離し、既存のDLコンパイラを網羅的に調査する。 具体的には、様々な側面から既存のDLコンパイラを総合的に比較する。
• 参考スコア（独自算出の注目度）: 16.19025439622745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The difficulty of deploying various deep learning (DL) models on diverse DL hardware has boosted the research and development of DL compilers in the community. Several DL compilers have been proposed from both industry and academia such as Tensorflow XLA and TVM. Similarly, the DL compilers take the DL models described in different DL frameworks as input, and then generate optimized codes for diverse DL hardware as output. However, none of the existing survey has analyzed the unique design architecture of the DL compilers comprehensively. In this paper, we perform a comprehensive survey of existing DL compilers by dissecting the commonly adopted design in details, with emphasis on the DL oriented multi-level IRs, and frontend/backend optimizations. Specifically, we provide a comprehensive comparison among existing DL compilers from various aspects. In addition, we present detailed analysis on the design of multi-level IRs and illustrate the commonly adopted optimization techniques. Finally, several insights are highlighted as the potential research directions of DL compiler. This is the first survey paper focusing on the design architecture of DL compilers, which we hope can pave the road for future research towards DL compiler.
• Abstract（参考訳）: 多様なDLハードウェア上に様々なディープラーニング(DL)モデルをデプロイすることの難しさにより、コミュニティにおけるDLコンパイラの研究と開発が促進された。 いくつかのDLコンパイラは、Tensorflow XLAやTVMのような業界と学術の両方から提案されている。 同様に、DLコンパイラは異なるDLフレームワークで記述されたDLモデルを入力とし、様々なDLハードウェアに対して最適化されたコードを生成する。 しかし、既存の調査ではdlコンパイラのユニークな設計アーキテクチャを包括的に分析していない。 本稿では、DL指向多レベルIRとフロントエンド/バックエンド最適化に重点を置いて、広く採用されている設計を詳細に分離し、既存のDLコンパイラを網羅的に調査する。 具体的には、様々な側面から既存のDLコンパイラと比較する。 さらに,多レベルirsの設計に関する詳細な分析を行い,広く採用されている最適化手法について述べる。 最後に、DLコンパイラの潜在的な研究方向性として、いくつかの洞察が強調されている。 dlコンパイラの設計アーキテクチャに焦点を当てた最初の調査論文であり、dlコンパイラに対する今後の研究への道を開くことを願っている。

関連論文リスト

• A Tale of Two DL Cities: When Library Tests Meet Compiler [12.751626834965231]
  DLライブラリのテスト入力からドメイン知識を抽出するOPERAを提案する。 OPERAはDLライブラリの様々なテストインプットから様々なテストを構築する。 多様性に基づくテストの優先順位付け戦略を取り入れて、これらのテストインプットを移行し実行します。
  論文  参考訳（メタデータ） (2024-07-23T16:35:45Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• IMDL-BenCo: A Comprehensive Benchmark and Codebase for Image Manipulation Detection & Localization [58.32394109377374]
  IMDL-BenCoは、最初の包括的なIMDLベンチマークとモジュールである。 IMDLフレームワークを標準化された再利用可能なコンポーネントに分解し、モデル構築パイプラインを改訂する。 8つの最先端IMDLモデル(うち1つはスクラッチから再現される)、2つの標準トレーニングおよび評価プロトコル、15のGPUアクセラレーション評価メトリクス、そして3種類の堅牢性評価が含まれている。
  論文  参考訳（メタデータ） (2024-06-15T09:44:54Z)
• A Survey of Deep Learning Library Testing Methods [33.62859142913532]
  ディープラーニング(DL)ライブラリは、基礎となる最適化と計算を行う。 DLライブラリはバグに免疫がなく、ユーザの個人資産や安全性に深刻な脅威をもたらす可能性がある。 本稿では,各種DLライブラリに関する試験研究の概要について述べる。
  論文  参考訳（メタデータ） (2024-04-27T11:42:13Z)
• Serving Deep Learning Model in Relational Databases [72.72372281808694]
  リレーショナルデータ上での深層学習(DL)モデルの実現は、様々な商業分野や科学分野において重要な要件となっている。 最先端のDL-Centricアーキテクチャは、DL計算を専用のDLフレームワークにオフロードします。 UDF-Centricアーキテクチャは、データベースシステム内の1つ以上のテンソル計算をユーザ定義関数(UDF)にカプセル化する。 potentialRelation-Centricアーキテクチャは、演算子による大規模テンソル計算を表現することを目的としている。
  論文  参考訳（メタデータ） (2023-10-07T06:01:35Z)
• A Comprehensive Benchmark of Deep Learning Libraries on Mobile Devices [12.342282138576348]
  6つの代表的なDL libと15の多様化DLモデルを含むベンチマークを構築した。 次に10台のモバイルデバイスで広範な実験を行い、現在のモバイルDL libsエコシステムの全体像を明らかにするのに役立ちます。 最高のパフォーマンスのDL libは、さまざまなモデルやハードウェアで著しく断片化されています。
  論文  参考訳（メタデータ） (2022-02-14T07:00:31Z)
• Design Smells in Deep Learning Programs: An Empirical Study [9.112172220055431]
  DL(Deep Learning)プログラムにおける設計の臭いは、DLコンポーネントの開発時に行われる設計や構成上の判断が貧弱である。 我々は、人気のあるDLアーキテクチャ、すなわちディープフィードフォワードニューラルネットワークのための8つの設計臭いのカタログを提示する。
  論文  参考訳（メタデータ） (2021-07-05T21:26:05Z)
• Tensor Processing Primitives: A Programming Abstraction for Efficiency and Portability in Deep Learning Workloads [86.62083829086393]
  このプロセスプリミティブ(TPP、Processing Primitives)は、高い生産性を持つDeep Learning-Workloadの効率的でポータブルな実装を目指すプログラミング抽象化である。 TPPは、高次元テンソル上の複素作用素を構成するためにビルディングブロックとして使用できる2Dテンソル作用素(または仮想ISA)のコンパクトで汎用的な集合を定義する。 我々は,スタンドアロンカーネルとTLPで表現されたエンドツーエンドのDLワークロードによるアプローチの有効性を実証し,複数のプラットフォーム上での最先端実装よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:35:49Z)
• A Survey of Deep Active Learning [54.376820959917005]
  アクティブラーニング(AL)は、最も少ないサンプルをマークすることで、モデルの性能向上を最大化しようとする。 ディープラーニング(DL)はデータに対して欲張りであり、大量のパラメータを最適化するために大量のデータ供給を必要とする。 ディープラーニング(Deep Active Learning, DAL)が誕生した。
  論文  参考訳（メタデータ） (2020-08-30T04:28:31Z)
• PolyDL: Polyhedral Optimizations for Creation of High Performance DL primitives [55.79741270235602]
  本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。 我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。 また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-06-02T06:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。