論文の概要: RESPECT: Reinforcement Learning based Edge Scheduling on Pipelined Coral
Edge TPUs
- arxiv url: http://arxiv.org/abs/2304.04716v1
- Date: Mon, 10 Apr 2023 17:22:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 14:14:08.215356
- Title: RESPECT: Reinforcement Learning based Edge Scheduling on Pipelined Coral
Edge TPUs
- Title（参考訳）: RESPECT: パイプライン化されたコーラルエッジTPUによる強化学習に基づくエッジスケジューリング
- Authors: Jiaqi Yin, Yingjie Li, Daniel Robinson, Cunxi Yu
- Abstract要約: 本研究は、最適化アルゴリズムの挙動を学習する強化学習(RL)に基づくスケジューリングフレームワークを提案する。
RLは、実行時のオーバーヘッドを短くすることで、ほぼ最適のスケジューリング結果を生成する。
我々のフレームワークは、商用コンパイラ上での実世界のオンチップランタイム推論速度アップを最大$sim2.5times$で実証しています。
- 参考スコア（独自算出の注目度）: 12.952987240366781
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) have substantial computational and memory
requirements, and the compilation of its computational graphs has a great
impact on the performance of resource-constrained (e.g., computation, I/O, and
memory-bound) edge computing systems. While efficient execution of their
computational graph requires an effective scheduling algorithm, generating the
optimal scheduling solution is a challenging NP-hard problem. Furthermore, the
complexity of scheduling DNN computational graphs will further increase on
pipelined multi-core systems considering memory communication cost, as well as
the increasing size of DNNs. Using the synthetic graph for the training
dataset, this work presents a reinforcement learning (RL) based scheduling
framework RESPECT, which learns the behaviors of optimal optimization
algorithms and generates near-optimal scheduling results with short solving
runtime overhead. Our framework has demonstrated up to $\sim2.5\times$
real-world on-chip inference runtime speedups over the commercial compiler with
ten popular ImageNet models deployed on the physical Coral Edge TPUs system.
Moreover, compared to the exact optimization methods, the proposed RL
scheduling improves the scheduling optimization runtime by up to 683$\times$
speedups compared to the commercial compiler and matches the exact optimal
solutions with up to 930$\times$ speedups. Finally, we perform a comprehensive
generalizability test, which demonstrates RESPECT successfully imitates optimal
solving behaviors from small synthetic graphs to large real-world DNNs
computational graphs.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、かなりの計算量とメモリ要件を持ち、その計算グラフのコンパイルは、リソース制約のあるエッジコンピューティングシステム(計算、I/O、メモリバウンド)の性能に大きな影響を与える。
計算グラフの効率的な実行には効率的なスケジューリングアルゴリズムが必要であるが、最適なスケジューリングソリューションを生成することは難題である。
さらに、DNN計算グラフのスケジューリングの複雑さは、メモリ通信コストやDNNのサイズの増加を考慮したパイプライン化されたマルチコアシステムにおいてさらに増大する。
学習データセットのための合成グラフを用いて,最適化アルゴリズムの振る舞いを学習し,実行時のオーバーヘッドを短く解くことで,最適に近いスケジューリング結果を生成する強化学習(rl)ベースのスケジューリングフレームワークについて述べる。
我々のフレームワークは、Coral Edge TPUsシステム上にデプロイされた10の人気のあるImageNetモデルで、商用コンパイラ上での実際のオンチップ推論ランタイムの高速化を、最大$\sim2.5\times$で実証しました。
さらに、正確な最適化手法と比較して、提案したRLスケジューリングは、商用コンパイラと比較して最大683$\times$スピードアップし、正確な最適解と最大930$\times$スピードアップとを一致させる。
最後に,RESPECT が小型合成グラフから大規模実世界の DNN 計算グラフへの最適解法挙動を再現できることを実証する包括的一般化性試験を行った。
関連論文リスト
- GDSG: Graph Diffusion-based Solution Generator for Optimization Problems in MEC Networks [109.17835015018532]
グラフ拡散型ソリューション生成(GDSG)法を提案する。
このアプローチは、おそらく最適な解に収束しながら、最適以下のデータセットを扱うように設計されている。
グラフニューラルネットワーク(GNN)を用いたマルチタスク拡散モデルとしてGDSGを構築し,高品質な解の分布を求める。
論文 参考訳（メタデータ） (2024-12-11T11:13:43Z) - T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。
実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文 参考訳（メタデータ） (2023-10-05T02:58:29Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Memory-aware Scheduling for Complex Wired Networks with Iterative Graph
Optimization [4.614780125575351]
本稿では,反復グラフ最適化に基づく効率的なメモリ認識スケジューリングフレームワークを提案する。
我々のフレームワークは、スケジューリングの最適性を保ちながらグラフを単純化する反復グラフ融合アルゴリズムを備えている。
論文 参考訳（メタデータ） (2023-08-26T14:52:02Z) - Accelerating Exact Combinatorial Optimization via RL-based
Initialization -- A Case Study in Scheduling [1.3053649021965603]
本研究の目的は、最適化問題に対処する機械学習(ML)を用いた革新的なアプローチを開発することである。
1) 粗粒スケジューラとしての解法, 2) 解緩和, 3) ILPによる正確な解法の3つのステップを含む新しい2段階のRL-to-ILPスケジューリングフレームワークを導入する。
提案フレームワークは, 正確なスケジューリング手法と比較して, 最大128ドルの高速化を実現しつつ, 同一のスケジューリング性能を示す。
論文 参考訳（メタデータ） (2023-08-19T15:52:43Z) - Scalable Graph Convolutional Network Training on Distributed-Memory
Systems [5.169989177779801]
グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。
グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。
本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-09T17:51:13Z) - Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。
我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文 参考訳（メタデータ） (2022-10-14T01:42:05Z) - Towards Optimal VPU Compiler Cost Modeling by using Neural Networks to
Infer Hardware Performances [58.720142291102135]
VPUNN"は低レベルのタスクプロファイリングに基づいてトレーニングされたニューラルネットワークベースのコストモデルである。
これは、IntelのVPUプロセッサのラインにおける最先端のコストモデリングよりも一貫して優れている。
論文 参考訳（メタデータ） (2022-05-09T22:48:39Z) - CoSA: Scheduling by Constrained Optimization for Spatial Accelerators [1.9149970150912705]
我々は、Deep Neural Networks(DNN)アクセラレーターをスケジューリングするための制約最適化に基づくアプローチであるCoSAを提案する。
探索空間をナビゲートするデザイナの手法や反復的な手法に依存する既存のアプローチとは対照的に、CoSAはスケジューリング決定を制約最適化問題として表現している。
CoSA生成スケジュールは、最大2.5xの幾何学平均で最先端のアプローチを大幅に上回ることを実証します。
論文 参考訳（メタデータ） (2021-05-05T07:17:25Z) - Transferable Graph Optimizers for ML Compilers [18.353830282858834]
計算グラフ最適化(GO)のためのエンドツーエンドで転送可能な深層強化学習法を提案する。
GOは個々のノードに対して自動回帰ではなく,グラフ全体の決定を生成する。
GOは、人間の専門家よりも21%改善し、先行技術よりも18%改善し、15倍早く収束する。
論文 参考訳（メタデータ） (2020-10-21T20:28:33Z) - Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。
本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。
その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
論文 参考訳（メタデータ） (2020-02-04T20:00:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。