論文の概要: DynaComm: Accelerating Distributed CNN Training between Edges and Clouds through Dynamic Communication Scheduling

• arxiv url: http://arxiv.org/abs/2101.07968v1
• Date: Wed, 20 Jan 2021 05:09:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-22 01:31:59.118085
• Title: DynaComm: Accelerating Distributed CNN Training between Edges and Clouds through Dynamic Communication Scheduling
• Title（参考訳）: DynaComm: 動的通信スケジューリングによるエッジとクラウド間の分散CNNトレーニングの高速化
• Authors: Shangming Cai, Dongsheng Wang, Haixia Wang, Yongqiang Lyu, Guangquan Xu, Xi Zheng and Athanasios V. Vasilakos
• Abstract要約: 本稿では,各送信手順を複数のセグメントに分割し,実行時に重複する最適な通信と計算を実現する新しいスケジューラDynaCommを提案する。 DynaComm は、モデル精度を保ちながら、競合する戦略と比較して、すべてのケースで最適なスケジューリングを実現できることを確認します。
• 参考スコア（独自算出の注目度）: 11.34309642431225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To reduce uploading bandwidth and address privacy concerns, deep learning at the network edge has been an emerging topic. Typically, edge devices collaboratively train a shared model using real-time generated data through the Parameter Server framework. Although all the edge devices can share the computing workloads, the distributed training processes over edge networks are still time-consuming due to the parameters and gradients transmission procedures between parameter servers and edge devices. Focusing on accelerating distributed Convolutional Neural Networks (CNNs) training at the network edge, we present DynaComm, a novel scheduler that dynamically decomposes each transmission procedure into several segments to achieve optimal communications and computations overlapping during run-time. Through experiments, we verify that DynaComm manages to achieve optimal scheduling for all cases compared to competing strategies while the model accuracy remains untouched.
• Abstract（参考訳）: アップロード帯域幅とアドレスプライバシの懸念を軽減するために、ネットワークエッジでのディープラーニングが注目されている。 通常、エッジデバイスはパラメータサーバーフレームワークを通じてリアルタイムに生成されたデータを使用して、共有モデルを協調的にトレーニングする。 すべてのエッジデバイスはコンピューティングワークロードを共有することができるが、エッジネットワーク上の分散トレーニングプロセスは、パラメータサーバとエッジデバイス間の送信手順のパラメータと勾配のため、依然として時間がかかる。 ネットワークエッジにおける分散畳み込みニューラルネットワーク(CNN)トレーニングの高速化に着目し,各送信手順を複数のセグメントに動的に分解し,実行時に重複する最適な通信と計算を実現する新しいスケジューラDynaCommを提案する。 実験により、DynaCommは、モデル精度が変化しないまま、競合する戦略と比較して、全てのケースに対して最適なスケジューリングを達成できることを確認した。

関連論文リスト

• DIET: Customized Slimming for Incompatible Networks in Sequential Recommendation [16.44627200990594]
  推奨システムは、頻繁なモバイル要求によるネットワークの混雑を軽減するために、エッジにモデルをデプロイし始める。 いくつかの研究はエッジ側とリアルタイムデータの近接を利用して、エッジ固有のモデルを作成するように微調整している。 これらの手法は、モデルを最新の状態に保つために、相当量の計算資源と頻繁なネットワーク転送を必要とする。 我々は、DIET(IncompatiblE neTworks)のためのカスタマイズされたslImmingフレームワークを提案し、DIETはすべてのデバイスに同じ一般的なバックボーン(潜在的に特定のエッジと互換性のない)をデプロイする。
  論文  参考訳（メタデータ） (2024-06-13T04:39:16Z)
• Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
  フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
  論文  参考訳（メタデータ） (2023-12-23T07:47:07Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Receptive Field-based Segmentation for Distributed CNN Inference Acceleration in Collaborative Edge Computing [93.67044879636093]
  協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。 我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
  論文  参考訳（メタデータ） (2022-07-22T18:38:11Z)
• Dynamic Split Computing for Efficient Deep Edge Intelligence [78.4233915447056]
  通信チャネルの状態に基づいて最適な分割位置を動的に選択する動的分割計算を導入する。 本研究では,データレートとサーバ負荷が時間とともに変化するエッジコンピューティング環境において,動的スプリットコンピューティングが高速な推論を実現することを示す。
  論文  参考訳（メタデータ） (2022-05-23T12:35:18Z)
• Layer-Parallel Training of Residual Networks with Auxiliary-Variable Networks [28.775355111614484]
  補助変数法は近年、多くの関心を集めているが、通信オーバーヘッドとデータ拡張の欠如に悩まされている。 本稿では,複数のコンピュータデバイスにまたがる現実的なResNetを学習するための新しい共同学習フレームワークを提案する。 CIFAR-10, CIFAR-100, ImageNetデータセットにまたがるResNetsおよびWideResNetsにおける手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-12-10T08:45:35Z)
• To Talk or to Work: Delay Efficient Federated Learning over Mobile Edge Devices [13.318419040823088]
  モバイルデバイスは、中央サーバの調整の下で、自身のデータに基づいてモデルをトレーニングするために協力する。 データの中心的な可用性がなければ、計算ノードは収束を達成するためにしばしばモデル更新を伝える必要がある。 本稿では,モデルが収束するために必要な全時間(計算待ち時間と通信待ち時間の両方)と通信ラウンドを削減できる遅延効率FL機構を提案する。
  論文  参考訳（メタデータ） (2021-11-01T00:35:32Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• Accelerating Neural Network Training with Distributed Asynchronous and Selective Optimization (DASO) [0.0]
  分散非同期および選択的最適化(DASO)手法を導入し、ネットワークトレーニングを加速します。 DASOは、ノードローカルおよびグローバルネットワークで構成される階層型および非同期通信スキームを使用する。 DASOは従来のネットワークや最先端ネットワークで最大34%のトレーニング時間を短縮できることを示す。
  論文  参考訳（メタデータ） (2021-04-12T16:02:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。