論文の概要: CoSA: Scheduling by Constrained Optimization for Spatial Accelerators
- arxiv url: http://arxiv.org/abs/2105.01898v1
- Date: Wed, 5 May 2021 07:17:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-06 12:38:20.397503
- Title: CoSA: Scheduling by Constrained Optimization for Spatial Accelerators
- Title（参考訳）: CoSA:空間加速器の制約付き最適化によるスケジューリング
- Authors: Qijing Huang, Minwoo Kang, Grace Dinh, Thomas Norell, Aravind Kalaiah,
James Demmel, John Wawrzynek, Yakun Sophia Shao
- Abstract要約: 我々は、Deep Neural Networks(DNN)アクセラレーターをスケジューリングするための制約最適化に基づくアプローチであるCoSAを提案する。
探索空間をナビゲートするデザイナの手法や反復的な手法に依存する既存のアプローチとは対照的に、CoSAはスケジューリング決定を制約最適化問題として表現している。
CoSA生成スケジュールは、最大2.5xの幾何学平均で最先端のアプローチを大幅に上回ることを実証します。
- 参考スコア（独自算出の注目度）: 1.9149970150912705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in Deep Neural Networks (DNNs) have led to active development
of specialized DNN accelerators, many of which feature a large number of
processing elements laid out spatially, together with a multi-level memory
hierarchy and flexible interconnect. While DNN accelerators can take advantage
of data reuse and achieve high peak throughput, they also expose a large number
of runtime parameters to the programmers who need to explicitly manage how
computation is scheduled both spatially and temporally. In fact, different
scheduling choices can lead to wide variations in performance and efficiency,
motivating the need for a fast and efficient search strategy to navigate the
vast scheduling space.
To address this challenge, we present CoSA, a constrained-optimization-based
approach for scheduling DNN accelerators. As opposed to existing approaches
that either rely on designers' heuristics or iterative methods to navigate the
search space, CoSA expresses scheduling decisions as a constrained-optimization
problem that can be deterministically solved using mathematical optimization
techniques. Specifically, CoSA leverages the regularities in DNN operators and
hardware to formulate the DNN scheduling space into a mixed-integer programming
(MIP) problem with algorithmic and architectural constraints, which can be
solved to automatically generate a highly efficient schedule in one shot. We
demonstrate that CoSA-generated schedules significantly outperform
state-of-the-art approaches by a geometric mean of up to 2.5x across a wide
range of DNN networks while improving the time-to-solution by 90x.
- Abstract（参考訳）: 近年のディープニューラルネットワーク(DNN)の進歩により、専門的なDNNアクセラレータが活発に開発され、多くの処理要素が空間的にレイアウトされ、マルチレベルメモリ階層とフレキシブルな相互接続が実現されている。
DNNアクセラレータはデータの再利用と高いスループットを実現することができるが、空間的にも時間的にも計算のスケジュールを明示的に管理する必要があるプログラマには、多数のランタイムパラメータを公開することもできる。
実際、異なるスケジューリング選択は、広範囲なスケジューリング空間をナビゲートする高速で効率的な検索戦略の必要性を動機として、パフォーマンスと効率の幅広いバリエーションをもたらす可能性がある。
この課題に対処するために、DNNアクセラレーターをスケジューリングするための制約最適化に基づくアプローチであるCoSAを提案する。
設計者のヒューリスティックや反復的な方法で探索空間をナビゲートする既存のアプローチとは対照的に、CoSAはスケジューリング決定を、数学的最適化手法を用いて決定的に解決できる制約最適化問題として表現している。
特に、CoSAはDNN演算子とハードウェアの規則性を活用して、DNNスケジューリング空間をアルゴリズムとアーキテクチャの制約を伴う混合整数プログラミング(MIP)問題に定式化し、1ショットで高効率なスケジュールを自動的に生成することができる。
我々は,CoSAが生成するスケジュールが,幅広いDNNネットワークにおいて最大2.5倍の幾何平均で最先端のアプローチを著しく上回り,解法時間も90倍向上することを示した。
関連論文リスト
- Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。
提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。
実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
論文 参考訳（メタデータ） (2024-06-24T15:55:59Z) - DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。
我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。
拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-11T06:31:03Z) - LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。
本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-26T05:23:11Z) - Sparse-DySta: Sparsity-Aware Dynamic and Static Scheduling for Sparse
Multi-DNN Workloads [65.47816359465155]
複数のディープニューラルネットワーク(DNN)を並列に実行することは、両エッジデバイスで新たなワークロードとなっている。
スパースマルチDNNスケジューリングに静的なスケジューラパターンと動的スケジューラ情報の両方を利用する新しいスケジューラDystaを提案する。
提案手法は, 遅延制約違反率を最大10%削減し, 平均正規化ターンアラウンド時間で約4倍に向上する。
論文 参考訳（メタデータ） (2023-10-17T09:25:17Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - A Fast Task Offloading Optimization Framework for IRS-Assisted
Multi-Access Edge Computing System [14.82292289994152]
我々は,IOPO(Iterative Order-Preserving Policy Optimization)と呼ばれるディープラーニングに基づく最適化フレームワークを提案する。
IOPOはエネルギー効率のよいタスクオフロード決定をミリ秒で生成できる。
実験の結果,提案フレームワークは短時間でエネルギー効率の高いタスクオフロード決定を生成できることがわかった。
論文 参考訳（メタデータ） (2023-07-17T13:32:02Z) - KAPLA: Pragmatic Representation and Fast Solving of Scalable NN
Accelerator Dataflow [0.0]
汎用的で最適化され、高速なデータフロー解決器KAPLAを構築し、効果的な妥当性チェックと効率推定により設計空間を探索する。
KAPLAは、トレーニングと推論のための結果データフローにおいて、わずか2.2%と7.7%のエネルギーオーバーヘッドしか達成していない。
また、ランダムおよび機械学習ベースのアプローチよりも優れており、より最適化された結果と桁違いに高速な検索スピードアップを実現している。
論文 参考訳（メタデータ） (2023-06-09T03:12:42Z) - RESPECT: Reinforcement Learning based Edge Scheduling on Pipelined Coral
Edge TPUs [12.952987240366781]
本研究は、最適化アルゴリズムの挙動を学習する強化学習(RL)に基づくスケジューリングフレームワークを提案する。
RLは、実行時のオーバーヘッドを短くすることで、ほぼ最適のスケジューリング結果を生成する。
我々のフレームワークは、商用コンパイラ上での実世界のオンチップランタイム推論速度アップを最大$sim2.5times$で実証しています。
論文 参考訳（メタデータ） (2023-04-10T17:22:12Z) - Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time
Mobile Acceleration [71.80326738527734]
本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。
提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-11-22T23:53:14Z) - Automated Design Space Exploration for optimised Deployment of DNN on
Arm Cortex-A CPUs [13.628734116014819]
組み込みデバイスにおけるディープラーニングは、ディープニューラルネットワーク(DNN)のデプロイを最適化する多くの方法の開発を促している。
テストし、グローバルに最適化されたソリューションを得るには、アプローチの空間が大きすぎるため、クロスレベル最適化に関する研究が不足している。
我々は、Arm Cortex-A CPUプラットフォーム上での最先端DNNの一連の結果を示し、最大4倍の性能向上とメモリの2倍以上の削減を実現した。
論文 参考訳（メタデータ） (2020-06-09T11:00:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。