論文の概要: Marvel: A Data-centric Compiler for DNN Operators on Spatial
Accelerators
- arxiv url: http://arxiv.org/abs/2002.07752v2
- Date: Thu, 11 Jun 2020 19:08:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 20:52:55.742485
- Title: Marvel: A Data-centric Compiler for DNN Operators on Spatial
Accelerators
- Title（参考訳）: Marvel: 空間加速器上のDNN演算子のためのデータ中心コンパイラ
- Authors: Prasanth Chatarasi, Hyoukjun Kwon, Natesh Raina, Saurabh Malik,
Vaisakh Haridas, Angshuman Parashar, Michael Pellauer, Tushar Krishna, Vivek
Sarkar
- Abstract要約: 我々は,MDC表記法で記述可能なDNN演算子を形式的に理解する。
オフチップおよびオンチップ部分空間への写像空間を分解する分離オフチップ/オンチップアプローチを提案する。
- 参考スコア（独自算出の注目度）: 4.590187162220213
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The efficiency of a spatial DNN accelerator depends heavily on the compiler
and its cost model ability to generate optimized mappings for various operators
of DNN models on to the accelerator's compute and memory resources. But,
existing cost models lack a formal boundary over the operators for precise and
tractable analysis, which poses adaptability challenges for new DNN operators.
To address this challenge, we leverage the recently introduced Maestro
Data-Centric (MDC) notation. We develop a formal understanding of DNN operators
whose mappings can be described in the MDC notation, because any mapping
adhering to the notation is always analyzable by the MDC's cost model.
Furthermore, we introduce a transformation for translating mappings into the
MDC notation for exploring the mapping space.
Searching for the optimal mappings is challenging because of the large space
of mappings, and this challenge gets exacerbated with new operators and diverse
accelerator configurations.To address this challenge, we propose a decoupled
off-chip/on-chip approach that decomposes the mapping space into off-chip and
on-chip subspaces, and first optimizes the off-chip subspace followed by the
on-chip subspace. The motivation for this decomposition is to reduce the size
of the search space dramatically and also to prioritize the optimization of
off-chip data movement, which is 2-3 orders of magnitude more compared to the
on-chip data movement. We implemented our approach in a tool called {\em
Marvel}, and another major benefit of our approach is that it is applicable to
any DNN operator conformable with the MDC notation.
- Abstract（参考訳）: 空間的DNNアクセラレータの効率は、コンパイラとそのコストモデル能力に大きく依存し、DNNモデルの様々な演算子に対して、アクセラレータの計算およびメモリリソースに最適化されたマッピングを生成する。
しかし、既存のコストモデルには、正確かつトラクタブルな分析のための演算子に対する公式な境界がないため、新しいDNN演算子には適応性の問題が生じる。
この課題に対処するために、最近導入されたMaestro Data-Centric(MDC)表記を利用する。
我々は,MDC のコストモデルで常に解析可能であるため,MDC の表記法で表現可能な DNN 演算子を形式的に理解する。
さらに、マッピング空間を探索するために、マッピングをMDC表記に変換する変換を導入する。
この課題に対処するために、我々は、オフチップとオンチップのサブ空間にマッピング空間を分解する分離オフチップ/オンチップアプローチを提案し、最初にオフチップサブ空間とオンチップサブ空間の次にオンチップサブ空間を最適化する。
この分解の動機は、探索空間のサイズを劇的に減らし、オンチップのデータ移動に比べて2～3桁のオフチップデータ移動の最適化を優先することにある。
我々はこの手法を {\em Marvel} と呼ばれるツールで実装し、また MDC 表記に適合する DNN 演算子にも適用できるというアプローチの大きな利点を生かした。
関連論文リスト
- DeltaPhi: Learning Physical Trajectory Residual for PDE Solving [54.13671100638092]
我々は,物理軌道残差学習(DeltaPhi)を提案し,定式化する。
既存のニューラル演算子ネットワークに基づく残差演算子マッピングのサロゲートモデルについて学習する。
直接学習と比較して,PDEの解法には物理残差学習が望ましいと結論づける。
論文 参考訳（メタデータ） (2024-06-14T07:45:07Z) - Accelerator-driven Data Arrangement to Minimize Transformers Run-time on
Multi-core Architectures [5.46396577345121]
人工知能におけるトランスフォーマーモデルの複雑さは、計算コスト、メモリ使用量、エネルギー消費を拡大します。
ハードウェアアクセラレーターのカーネルサイズに支配される新しいメモリアレンジメント戦略を提案し,オフチップデータアクセスを効果的に最小化する。
我々の手法は、最先端の変圧器を用いた推論を実行する場合、最大2.8倍の速度向上を実現することができる。
論文 参考訳（メタデータ） (2023-12-20T13:01:25Z) - A Sparse Cross Attention-based Graph Convolution Network with Auxiliary
Information Awareness for Traffic Flow Prediction [41.66129197681683]
この研究はAIMSANというディープエンコーダデコーダモデルを提案する。
補助情報認識モジュール(AIM)とスパースクロスアテンションベースのグラフ畳み込みネットワーク(SAN)を含んでいる。
提案手法は最先端のアルゴリズムと競合する性能を持つが、GPUメモリ使用量の35.74%、トレーニング時間の42.25%、検証時間の45.51%を節約できる。
論文 参考訳（メタデータ） (2023-12-14T15:48:23Z) - Combined Scheduling, Memory Allocation and Tensor Replacement for
Minimizing Off-Chip Data Accesses of DNN Accelerators [6.393909466547065]
本稿では,Deep Neural Networks を専用ハードウェアアクセラレータにマッピングする COSMA という最適化フレームワークを提案する。
COSMAは、データアクセスを最小化する最適な演算子スケジュール、メモリ割り当て、テンソル置換を見つける。
既製のICPソルバを用いてCOSMAは,異なるアプリケーションに対して,多種多様な最先端DNNに対して,数秒で最適解が得られることを示した。
論文 参考訳（メタデータ） (2023-11-30T04:36:25Z) - RACE-IT: A Reconfigurable Analog CAM-Crossbar Engine for In-Memory
Transformer Acceleration [21.196696191478885]
Transformer ModelはDeep Neural Networks(DNN)の最先端を表現している。
これらのモデルを処理するには、かなりの計算資源が必要で、結果としてかなりのメモリフットプリントが要求される。
本稿では,トランスフォーマ内で様々な非MVM操作を行うことのできる新しいAnalog Content Addressable Memory(ACAM)構造を提案する。
論文 参考訳（メタデータ） (2023-11-29T22:45:39Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - UnLoc: A Universal Localization Method for Autonomous Vehicles using
LiDAR, Radar and/or Camera Input [51.150605800173366]
UnLocは、全ての気象条件におけるマルチセンサー入力によるローカライズのための、新しい統一型ニューラルネットワークアプローチである。
本手法は,Oxford Radar RobotCar,Apollo SouthBay,Perth-WAの各データセットで広く評価されている。
論文 参考訳（メタデータ） (2023-07-03T04:10:55Z) - Decoder Fusion RNN: Context and Interaction Aware Decoders for
Trajectory Prediction [53.473846742702854]
本稿では,動き予測のための反復的,注意に基づくアプローチを提案する。
Decoder Fusion RNN (DF-RNN) は、リカレント動作エンコーダ、エージェント間マルチヘッドアテンションモジュール、コンテキスト認識デコーダで構成される。
提案手法の有効性をArgoverseモーション予測データセットで検証し,その性能を公開ベンチマークで示す。
論文 参考訳（メタデータ） (2021-08-12T15:53:37Z) - CoSA: Scheduling by Constrained Optimization for Spatial Accelerators [1.9149970150912705]
我々は、Deep Neural Networks(DNN)アクセラレーターをスケジューリングするための制約最適化に基づくアプローチであるCoSAを提案する。
探索空間をナビゲートするデザイナの手法や反復的な手法に依存する既存のアプローチとは対照的に、CoSAはスケジューリング決定を制約最適化問題として表現している。
CoSA生成スケジュールは、最大2.5xの幾何学平均で最先端のアプローチを大幅に上回ることを実証します。
論文 参考訳（メタデータ） (2021-05-05T07:17:25Z) - Augmented Parallel-Pyramid Net for Attention Guided Pose-Estimation [90.28365183660438]
本稿では、注意部分モジュールと微分可能な自動データ拡張を備えた拡張並列ピラミドネットを提案する。
我々は、データ拡張のシーケンスをトレーニング可能なCNNコンポーネントとして定式化する新しいポーズ検索空間を定義する。
特に,本手法は,挑戦的なCOCOキーポイントベンチマークとMPIIデータセットの最先端結果において,トップ1の精度を実現する。
論文 参考訳（メタデータ） (2020-03-17T03:52:17Z) - Model Inversion Networks for Model-Based Optimization [110.24531801773392]
スコアから入力への逆写像を学習するモデル反転ネットワーク(MIN)を提案する。
MINは高次元の入力空間にスケールでき、コンテキスト最適化と非コンテキスト最適化の両方にオフラインログデータを利用する。
我々は,ベイズ最適化の文献から,画像やタンパク質の設計に対する高次元モデルベース最適化問題,ログデータからのコンテキスト的帯域最適化といったタスクのMINを評価した。
論文 参考訳（メタデータ） (2019-12-31T18:06:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。