論文の概要: Distributed Deep Learning Inference Acceleration using Seamless Collaboration in Edge Computing

• arxiv url: http://arxiv.org/abs/2207.11294v1
• Date: Fri, 22 Jul 2022 18:39:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-26 15:22:14.713434
• Title: Distributed Deep Learning Inference Acceleration using Seamless Collaboration in Edge Computing
• Title（参考訳）: エッジコンピューティングにおけるSeamless Collaborationを用いた分散ディープラーニング推論高速化
• Authors: Nan Li, Alexandros Iosifidis, Qi Zhang
• Abstract要約: 本稿では,コラボレーティブエッジコンピューティングにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。 本研究では,第2エッジサーバ(ES)上のサブタスクの重なり合うゾーンをホストES上で実行し,HALPと命名した新しいタスク協調方式を設計する。 実験結果から,GTX 1080TIとJETSON AGX Xavierでは,単一のタスクに対して1.7-2.0x,バッチ毎に1.7-1.8x,バッチ毎に1.7-1.8x,VGG-16では1.7-2.0xのCNN推論を高速化できることがわかった。
• 参考スコア（独自算出の注目度）: 93.67044879636093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies inference acceleration using distributed convolutional neural networks (CNNs) in collaborative edge computing. To ensure inference accuracy in inference task partitioning, we consider the receptive-field when performing segment-based partitioning. To maximize the parallelization between the communication and computing processes, thereby minimizing the total inference time of an inference task, we design a novel task collaboration scheme in which the overlapping zone of the sub-tasks on secondary edge servers (ESs) is executed on the host ES, named as HALP. We further extend HALP to the scenario of multiple tasks. Experimental results show that HALP can accelerate CNN inference in VGG-16 by 1.7-2.0x for a single task and 1.7-1.8x for 4 tasks per batch on GTX 1080TI and JETSON AGX Xavier, which outperforms the state-of-the-art work MoDNN. Moreover, we evaluate the service reliability under time-variant channel, which shows that HALP is an effective solution to ensure high service reliability with strict service deadline.
• Abstract（参考訳）: 本稿では,コラボレーティブエッジコンピューティングにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。 推論タスク分割における推論精度を確保するために,セグメントベースの分割を行う際の受容場を検討する。 通信処理と計算処理の並列化を最大化し,推論タスクの総推論時間を最小化するために,第2エッジサーバ(ES)上のサブタスクの重複領域をHALPと呼ぶホストES上で実行する新しいタスク協調方式を設計する。 さらに、halpを複数のタスクのシナリオに拡張します。 GTX 1080TI と JETSON AGX Xavier では,単一のタスクに対して1.7-2.0x,バッチ毎に1.7-1.8x の CNN 推論を高速化し,最先端の MoDNN よりも優れていた。 さらに,halpは,厳格なサービス期限で高い信頼性を確保するための有効なソリューションであることを示す,時間変動チャネル下でのサービス信頼性を評価する。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Design and Prototyping Distributed CNN Inference Acceleration in Edge Computing [85.74517957717363]
  HALPはエッジコンピューティングにおけるエッジデバイス(ED)間のシームレスなコラボレーションを設計することで推論を加速する。 実験により、分散推論HALPはVGG-16に対して1.7倍の推論加速を達成することが示された。 分散推論HALPを用いたモデル選択は,サービスの信頼性を著しく向上させることができる。
  論文  参考訳（メタデータ） (2022-11-24T19:48:30Z)
• Receptive Field-based Segmentation for Distributed CNN Inference Acceleration in Collaborative Edge Computing [93.67044879636093]
  協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。 我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
  論文  参考訳（メタデータ） (2022-07-22T18:38:11Z)
• Multi-Agent Collaborative Inference via DNN Decoupling: Intermediate Feature Compression and Edge Learning [31.291738577705257]
  単一エッジサーバが複数のUEの推論を調整するマルチエージェント協調推論シナリオについて検討する。 この目的を達成するために、我々はまず、大きな中間特徴を圧縮する軽量オートエンコーダベースの手法を設計する。 次に、DNNの推測オーバーヘッドに応じてタスクを定義し、マルコフ決定プロセスとして問題を定式化する。
  論文  参考訳（メタデータ） (2022-05-24T07:29:33Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• Boundary-assisted Region Proposal Networks for Nucleus Segmentation [89.69059532088129]
  大量の核が混在しているため、機械学習モデルはうまく機能しない。 我々は、堅牢なインスタンスレベルの核分割を実現する境界支援領域提案ネットワーク(BRP-Net)を考案する。
  論文  参考訳（メタデータ） (2020-06-04T08:26:38Z)
• Distributed Primal-Dual Optimization for Online Multi-Task Learning [22.45069527817333]
  本稿では,対数学習におけるタスク固有のノイズを捕捉し,実行時効率でプロジェクションフリーな更新を行う適応的原始双対アルゴリズムを提案する。 我々のモデルは、エネルギー不足や帯域制限のあるタスクが更新を延期できるようにするため、分散型の周期接続タスクに適しています。 実験結果から,提案モデルが実世界の様々なデータセットに対して極めて有効であることが確認された。
  論文  参考訳（メタデータ） (2020-04-02T23:36:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。