論文の概要: The Effects of Partitioning Strategies on Energy Consumption in Distributed CNN Inference at The Edge

• arxiv url: http://arxiv.org/abs/2210.08392v1
• Date: Sat, 15 Oct 2022 22:54:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 20:39:15.703810
• Title: The Effects of Partitioning Strategies on Energy Consumption in Distributed CNN Inference at The Edge
• Title（参考訳）: エッジにおける分散cnn推定における分割戦略がエネルギー消費に及ぼす影響
• Authors: Erqian Tang, Xiaotian Guo, Todor Stefanov
• Abstract要約: 多くのAIアプリケーションは、エッジの分散システム上での畳み込みニューラルネットワーク(CNN)推論を必要とする。 大規模なCNNモデルをパーティショニングし、エッジにある複数のデバイスで分散CNN推論を実行するために使用できる4つの主要なパーティショニング戦略がある。 本稿では,4つのパーティショニング戦略を利用する場合の分散システム上でのエッジにおけるCNNモデル推論のデバイス毎のエネルギー消費について検討・比較する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Nowadays, many AI applications utilizing resource-constrained edge devices (e.g., small mobile robots, tiny IoT devices, etc.) require Convolutional Neural Network (CNN) inference on a distributed system at the edge due to limited resources of a single edge device to accommodate and execute a large CNN. There are four main partitioning strategies that can be utilized to partition a large CNN model and perform distributed CNN inference on multiple devices at the edge. However, to the best of our knowledge, no research has been conducted to investigate how these four partitioning strategies affect the energy consumption per edge device. Such an investigation is important because it will reveal the potential of these partitioning strategies to be used effectively for reduction of the per-device energy consumption when a large CNN model is deployed for distributed inference at the edge. Therefore, in this paper, we investigate and compare the per-device energy consumption of CNN model inference at the edge on a distributed system when the four partitioning strategies are utilized. The goal of our investigation and comparison is to find out which partitioning strategies (and under what conditions) have the highest potential to decrease the energy consumption per edge device when CNN inference is performed at the edge on a distributed system.
• Abstract（参考訳）: 今日では、リソースに制約のあるエッジデバイス(小さな移動ロボット、小さなIoTデバイスなど)を利用するAIアプリケーションは、大きなCNNを収容し実行するために単一のエッジデバイスの限られたリソースのために、エッジの分散システム上で畳み込みニューラルネットワーク(CNN)の推論を必要とする。 大きなcnnモデルを分割し、エッジにある複数のデバイスで分散cnn推論を実行するために使用できる4つの主要なパーティショニング戦略がある。 しかし、我々の知る限りでは、これらの4つの分割戦略がエッジデバイス当たりのエネルギー消費に与える影響についての研究は行われていない。 このような調査は、エッジでの分散推論のために大規模なcnnモデルがデプロイされた場合、デバイス毎のエネルギー消費を減らすために効果的に使用されるような分割戦略の可能性を明らかにするために重要である。 そこで本研究では,4つのパーティショニング戦略を用いた分散システムのエッジにおけるcnnモデル推論のデバイス毎のエネルギー消費量について検討・比較を行う。 本研究の目的は,分散システム上でCNN推論を行う場合,どのパーティショニング戦略(およびどの条件下でも)がエッジデバイス当たりのエネルギー消費を減少させる可能性が最も高いかを明らかにすることである。

関連論文リスト

• I-SplitEE: Image classification in Split Computing DNNs with Early Exits [5.402030962296633]
  大規模なDeep Neural Networks(DNN)は、エッジやモバイル、IoTプラットフォームといったリソース制約のあるデバイスにデプロイするのを妨げる。 我々の研究は、アーリーエグジットとスプリットコンピューティングを融合した革新的な統一アプローチを提示している。 I-SplitEEは、地上の真実とシーケンシャルなデータを持たないシナリオに理想的なオンラインの教師なしアルゴリズムである。
  論文  参考訳（メタデータ） (2024-01-19T07:44:32Z)
• Attention-based Feature Compression for CNN Inference Offloading in Edge Computing [93.67044879636093]
  本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。 エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。 実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
  論文  参考訳（メタデータ） (2022-11-24T18:10:01Z)
• Receptive Field-based Segmentation for Distributed CNN Inference Acceleration in Collaborative Edge Computing [93.67044879636093]
  協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。 我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
  論文  参考訳（メタデータ） (2022-07-22T18:38:11Z)
• Dynamic Split Computing for Efficient Deep Edge Intelligence [78.4233915447056]
  通信チャネルの状態に基づいて最適な分割位置を動的に選択する動的分割計算を導入する。 本研究では,データレートとサーバ負荷が時間とともに変化するエッジコンピューティング環境において,動的スプリットコンピューティングが高速な推論を実現することを示す。
  論文  参考訳（メタデータ） (2022-05-23T12:35:18Z)
• SplitPlace: AI Augmented Splitting and Placement of Large-Scale Neural Networks in Mobile Edge Environments [13.864161788250856]
  この研究は、階層分割戦略とセマンティック分割戦略をインテリジェントに決定するために、Multi-Armed-Banditsを使用するAI駆動のオンラインポリシーであるSplitPlaceを提案する。 SplitPlaceは、意思決定対応強化学習を使用して、そのようなニューラルネットワーク分割フラグメントをモバイルエッジデバイスに配置する。 実験の結果,SplitPlaceは平均応答時間,期限違反率,推論精度,合計報酬を最大46,69,3,12%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-05-21T16:24:47Z)
• Survey on Large Scale Neural Network Training [48.424512364338746]
  現代のディープニューラルネットワーク(DNN)は、トレーニング中にウェイト、アクティベーション、その他の中間テンソルを保存するためにかなりのメモリを必要とする。 この調査は、より効率的なDNNトレーニングを可能にするアプローチの体系的な概要を提供する。
  論文  参考訳（メタデータ） (2022-02-21T18:48:02Z)
• Communication-Efficient Separable Neural Network for Distributed Inference on Edge Devices [2.28438857884398]
  本稿では,分散推論のためのニューラルネットワークを分離するために,モデル並列性を利用する新しい手法を提案する。 デバイスの適切な仕様とモデルの構成の下で、エッジクラスタ上の大規模ニューラルネットワークの推論が分散し、加速可能であることを示す実験を行った。
  論文  参考訳（メタデータ） (2021-11-03T19:30:28Z)
• Computational Intelligence and Deep Learning for Next-Generation Edge-Enabled Industrial IoT [51.68933585002123]
  エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。 本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。 特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
  論文  参考訳（メタデータ） (2021-10-28T08:14:57Z)
• Latency-Memory Optimized Splitting of Convolution Neural Networks for Resource Constrained Edge Devices [1.6873748786804317]
  我々は、エッジデバイスとクラウド間でCNNを実行することは、リソース制約のある最適化問題を解決することと同義であると主張している。 実世界のエッジデバイスでの実験では、LMOSはエッジで異なるCNNモデルの実行可能な実行を保証する。
  論文  参考訳（メタデータ） (2021-07-19T19:39:56Z)
• Energy-Efficient Model Compression and Splitting for Collaborative Inference Over Time-Varying Channels [52.60092598312894]
  本稿では,エッジノードとリモートノード間のモデル圧縮と時間変化モデル分割を利用して,エッジデバイスにおける総エネルギーコストを削減する手法を提案する。 提案手法は, 検討されたベースラインと比較して, エネルギー消費が最小限であり, 排出コストが$CO$となる。
  論文  参考訳（メタデータ） (2021-06-02T07:36:27Z)
• CoEdge: Cooperative DNN Inference with Adaptive Workload Partitioning over Heterogeneous Edge Devices [39.09319776243573]
  CoEdgeは、異種エッジデバイス上での協調推論をオーケストレーションする分散ディープニューラルネットワーク(DNN)コンピューティングシステムである。 CoEdgeは4つの広く採用されているCNNモデルに対して25.5%66.9%のエネルギー削減を実現し、予測遅延を短くして省エネする。
  論文  参考訳（メタデータ） (2020-12-06T13:15:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。