論文の概要: HierTrain: Fast Hierarchical Edge AI Learning with Hybrid Parallelism in
Mobile-Edge-Cloud Computing
- arxiv url: http://arxiv.org/abs/2003.09876v1
- Date: Sun, 22 Mar 2020 12:40:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 05:59:10.284660
- Title: HierTrain: Fast Hierarchical Edge AI Learning with Hybrid Parallelism in
Mobile-Edge-Cloud Computing
- Title（参考訳）: HierTrain: モバイルエッジクラウドコンピューティングにおけるハイブリッド並列処理による高速階層型エッジAI学習
- Authors: Deyin Liu and Xu Chen and Zhi Zhou and Qing Ling
- Abstract要約: 我々は階層型AI学習フレームワークであるHierTrainを提案し、階層型MECCアーキテクチャ上でDNNトレーニングタスクを効率的に展開する。
HierTrainがクラウドベースの階層的トレーニングアプローチと比較して最大6.9倍のスピードアップを実現可能であることを示す。
- 参考スコア（独自算出の注目度）: 36.40138484917463
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Nowadays, deep neural networks (DNNs) are the core enablers for many emerging
edge AI applications. Conventional approaches to training DNNs are generally
implemented at central servers or cloud centers for centralized learning, which
is typically time-consuming and resource-demanding due to the transmission of a
large amount of data samples from the device to the remote cloud. To overcome
these disadvantages, we consider accelerating the learning process of DNNs on
the Mobile-Edge-Cloud Computing (MECC) paradigm. In this paper, we propose
HierTrain, a hierarchical edge AI learning framework, which efficiently deploys
the DNN training task over the hierarchical MECC architecture. We develop a
novel \textit{hybrid parallelism} method, which is the key to HierTrain, to
adaptively assign the DNN model layers and the data samples across the three
levels of edge device, edge server and cloud center. We then formulate the
problem of scheduling the DNN training tasks at both layer-granularity and
sample-granularity. Solving this optimization problem enables us to achieve the
minimum training time. We further implement a hardware prototype consisting of
an edge device, an edge server and a cloud server, and conduct extensive
experiments on it. Experimental results demonstrate that HierTrain can achieve
up to 6.9x speedup compared to the cloud-based hierarchical training approach.
- Abstract（参考訳）: 現在、ディープニューラルネットワーク(DNN)は、多くの新興エッジAIアプリケーションにとって、コアイネーブラーとなっている。
DNNをトレーニングするための従来のアプローチは、一般的に中央サーバーやクラウドセンターで実装されており、デバイスからリモートクラウドへ大量のデータサンプルが送信されるため、通常、時間とリソースの要求がかかる。
これらの欠点を克服するために,モバイルエッジクラウドコンピューティング(MECC)パラダイムを用いたDNNの学習プロセスの高速化を検討する。
本稿では,階層型MECCアーキテクチャ上でDNNトレーニングタスクを効率的に展開する階層型エッジAI学習フレームワークであるHierTrainを提案する。
hiertrainの鍵となる,新しい \textit{hybrid parallelism} メソッドを開発し,エッジデバイス,エッジサーバ,クラウドセンターの3つのレベルにわたって,dnnモデルレイヤとデータサンプルを適応的に割り当てる。
次に、DNNトレーニングタスクを層粒度と試料粒度の両方でスケジューリングする問題を定式化する。
この最適化問題を解決することで、最小のトレーニング時間を実現できる。
さらに,エッジデバイス,エッジサーバ,クラウドサーバからなるハードウェアプロトタイプを実装し,広範な実験を行う。
実験の結果、HierTrainはクラウドベースの階層的トレーニングアプローチと比較して最大6.9倍のスピードアップを達成できることが示された。
関連論文リスト
- AutoSynth: Learning to Generate 3D Training Data for Object Point Cloud
Registration [69.21282992341007]
Auto Synthは、ポイントクラウド登録のための3Dトレーニングデータを自動的に生成する。
私たちはポイントクラウド登録ネットワークをもっと小さなサロゲートネットワークに置き換え、4056.43$のスピードアップを実現しました。
TUD-L,LINEMOD,Occluded-LINEMODに関する我々の研究結果は,検索データセットでトレーニングされたニューラルネットワークが,広く使用されているModelNet40データセットでトレーニングされたニューラルネットワークよりも一貫してパフォーマンスが向上していることを示す。
論文 参考訳（メタデータ） (2023-09-20T09:29:44Z) - Transferability of Convolutional Neural Networks in Stationary Learning
Tasks [96.00428692404354]
本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。
このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。
以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
論文 参考訳（メタデータ） (2023-07-21T13:51:45Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。
本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。
CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文 参考訳（メタデータ） (2022-10-10T10:05:00Z) - Designing and Training of Lightweight Neural Networks on Edge Devices
using Early Halting in Knowledge Distillation [16.74710649245842]
本稿では,エッジデバイス上での軽量ディープニューラルネットワーク(DNN)の設計と訓練のための新しいアプローチを提案する。
このアプローチでは、利用可能なストレージ、処理速度、許容可能な最大処理時間を考慮する。
本稿では,ネットワーク資源を保存できる新しい早期停止手法を提案する。
論文 参考訳（メタデータ） (2022-09-30T16:18:24Z) - EffCNet: An Efficient CondenseNet for Image Classification on NXP
BlueBox [0.0]
エッジデバイスは、安価なハードウェアと限られた冷却と計算資源のために、限られた処理能力を提供する。
我々はエッジデバイスのためのEffCNetと呼ばれる新しいディープ畳み込みニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-11-28T21:32:31Z) - 3U-EdgeAI: Ultra-Low Memory Training, Ultra-Low BitwidthQuantization,
and Ultra-Low Latency Acceleration [8.419854797930668]
エッジ上のディープニューラルネットワーク(DNN)ベースのAIアプリケーションは、低コストのコンピューティングプラットフォームと高品質なサービスの両方を必要とする。
本稿では、トレーニング、量子化、加速器設計の重要性を強調し、エッジ上のAI分野におけるさらなる研究のブレークスルーを求める。
論文 参考訳（メタデータ） (2021-05-11T03:22:30Z) - CLAN: Continuous Learning using Asynchronous Neuroevolution on Commodity
Edge Devices [3.812706195714961]
我々は、NeuroEvolutionary(NE)学習と推論を実行するWiFiを介して通信するRaspberry Piのプロトタイプシステムを構築した。
本研究では,このような協調システムの性能を評価し,システムの異なる配置の計算/通信特性について詳述する。
論文 参考訳（メタデータ） (2020-08-27T01:49:21Z) - Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G
Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。
このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-02-22T14:38:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。