論文の概要: SoD$^2$: Statically Optimizing Dynamic Deep Neural Network
- arxiv url: http://arxiv.org/abs/2403.00176v1
- Date: Thu, 29 Feb 2024 23:04:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 18:44:20.018745
- Title: SoD$^2$: Statically Optimizing Dynamic Deep Neural Network
- Title（参考訳）: SoD$^2$: 動的ディープニューラルネットワークの統計的最適化
- Authors: Wei Niu, Gagan Agrawal, Bin Ren
- Abstract要約: SoD$2$はDynamic DNNを最適化するための包括的なフレームワークである。
このフレームワークは、既知の定数、シンボリック定数、あるいはそれらの上の操作として演算子の形状を静的に決定する。
SoD$2$は、これらのシステムよりも3.9Times$高速に動作し、最大88%のピークメモリ消費を節約できることを示す。
- 参考スコア（独自算出の注目度）: 13.958672527377722
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Though many compilation and runtime systems have been developed for DNNs in
recent years, the focus has largely been on static DNNs. Dynamic DNNs, where
tensor shapes and sizes and even the set of operators used are dependent upon
the input and/or execution, are becoming common. This paper presents SoD$^2$, a
comprehensive framework for optimizing Dynamic DNNs. The basis of our approach
is a classification of common operators that form DNNs, and the use of this
classification towards a Rank and Dimension Propagation (RDP) method. This
framework statically determines the shapes of operators as known constants,
symbolic constants, or operations on these. Next, using RDP we enable a series
of optimizations, like fused code generation, execution (order) planning, and
even runtime memory allocation plan generation. By evaluating the framework on
10 emerging Dynamic DNNs and comparing it against several existing systems, we
demonstrate both reductions in execution latency and memory requirements, with
RDP-enabled key optimizations responsible for much of the gains. Our evaluation
results show that SoD$^2$ runs up to $3.9\times$ faster than these systems
while saving up to $88\%$ peak memory consumption.
- Abstract（参考訳）: 近年、DNN向けに多くのコンパイルおよびランタイムシステムが開発されているが、主に静的DNNに焦点を当てている。
テンソルの形状やサイズ、あるいは使用される演算子のセットが入力や実行に依存する動的dnnが一般的になりつつある。
本稿では,動的DNNを最適化するための総合的なフレームワークであるSoD$^2$を提案する。
本手法の基礎は、dnnを形成する共通作用素の分類と、この分類を階数および次元伝播法(rdp)法に応用することである。
このフレームワークは、既知の定数、シンボル定数、あるいはそれらに対する演算子の形を静的に決定する。
次に、RDPを使用して、融合コード生成、実行(順序)計画、実行時のメモリ割り当て計画生成など、一連の最適化を可能にします。
新たに出現する10の動的dnn上でフレームワークを評価し,いくつかの既存システムと比較することにより,実行待ち時間とメモリ要求の削減と,rdp対応キー最適化の両立を実現した。
評価の結果,SoD$^2$はこれらのシステムよりも3.9\times$速く,最大8.8\%のピークメモリ消費を節約できることがわかった。
関連論文リスト
- Towards Hyperparameter-Agnostic DNN Training via Dynamical System
Insights [4.513581513983453]
本稿では,ディープニューラルネットワーク(DNN),ECCO-DNNに特化した一階最適化手法を提案する。
本手法は, 最適変数軌道を動的システムとしてモデル化し, 軌道形状に基づいてステップサイズを適応的に選択する離散化アルゴリズムを開発する。
論文 参考訳（メタデータ） (2023-10-21T03:45:13Z) - Sparse-DySta: Sparsity-Aware Dynamic and Static Scheduling for Sparse
Multi-DNN Workloads [65.47816359465155]
複数のディープニューラルネットワーク(DNN)を並列に実行することは、両エッジデバイスで新たなワークロードとなっている。
スパースマルチDNNスケジューリングに静的なスケジューラパターンと動的スケジューラ情報の両方を利用する新しいスケジューラDystaを提案する。
提案手法は, 遅延制約違反率を最大10%削減し, 平均正規化ターンアラウンド時間で約4倍に向上する。
論文 参考訳（メタデータ） (2023-10-17T09:25:17Z) - SENSEi: Input-Sensitive Compilation for Accelerating GNNs [7.527596018706567]
本稿では,GNN計算の行列再連想に基づいて,異なるスパースおよび密度行列プリミティブ構成を公開するシステムであるSENSEiを提案する。
SENSEiは、(1) 異なるスパースセンス行列合成につながるすべての有効な再連想を列挙するオフラインコンパイルステージで実行され、入出力プルーニング技術を用いて、明らかに利益のない候補を抽出する。
幅広い構成において、SENSEiは最大2.012times$と1.85times$のグラフ畳み込みネットワークで、最大6.294times$と16.274のスピードアップを達成する。
論文 参考訳（メタデータ） (2023-06-27T02:24:05Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - An efficient and flexible inference system for serving heterogeneous
ensembles of deep neural networks [0.0]
ディープニューラルネットワーク(DNN)のアンサンブルは定性的予測を達成しているが、それらは計算とメモリ集約である。
DNNの柔軟性と効率性を両立させる新しいソフトウェア層を提案する。
論文 参考訳（メタデータ） (2022-08-30T08:05:43Z) - Towards Optimal VPU Compiler Cost Modeling by using Neural Networks to
Infer Hardware Performances [58.720142291102135]
VPUNN"は低レベルのタスクプロファイリングに基づいてトレーニングされたニューラルネットワークベースのコストモデルである。
これは、IntelのVPUプロセッサのラインにおける最先端のコストモデリングよりも一貫して優れている。
論文 参考訳（メタデータ） (2022-05-09T22:48:39Z) - DIRA: Dynamic Domain Incremental Regularised Adaptation [2.227417514684251]
ディープニューラルネットワーク(DNN)の動的動作領域適応のための動的インクリメンタル正規化適応(DIRA)を導入する。
DIRAは、ターゲットドメインからのサンプルをいくつか使用して再トレーニングする場合、忘れることの問題を改善し、パフォーマンスが大幅に向上する。
本手法は,分布変化に対するロバスト性の評価を目的とした,画像分類ベンチマークの改善を示す。
論文 参考訳（メタデータ） (2022-04-30T03:46:03Z) - PolyDL: Polyhedral Optimizations for Creation of High Performance DL
primitives [55.79741270235602]
本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。
我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。
また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
論文 参考訳（メタデータ） (2020-06-02T06:44:09Z) - $\Pi-$nets: Deep Polynomial Neural Networks [86.36557534288535]
$Pi$-Netsは、出力が入力の高次であるニューラルネットワークである。
我々は、$Pi$-Netsが標準のDCNNよりも優れた表現能力を持っていることを実証的に実証した。
近年のStyleGANのような生成モデルが,先行モデルに改良を加えた理由を解明する。
論文 参考訳（メタデータ） (2020-03-08T18:48:43Z) - PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with
Pattern-based Weight Pruning [57.20262984116752]
粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。
きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
論文 参考訳（メタデータ） (2020-01-01T04:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。