論文の概要: AutoDiCE: Fully Automated Distributed CNN Inference at the Edge
- arxiv url: http://arxiv.org/abs/2207.12113v1
- Date: Wed, 20 Jul 2022 15:08:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-31 14:21:32.358947
- Title: AutoDiCE: Fully Automated Distributed CNN Inference at the Edge
- Title（参考訳）: AutoDiCE: エッジにおける完全に自動化された分散CNN推論
- Authors: Xiaotian Guo and Andy D.Pimentel and Todor Stefanov
- Abstract要約: 本稿では,CNNモデルのサブモデルへの自動分割のための新しいフレームワークであるAutoDiCEを提案する。
実験の結果、AutoDiCEは、エッジデバイス当たりのエネルギー消費とメモリ使用量を減らすことで、分散CNN推論を実現することができることがわかった。
- 参考スコア（独自算出の注目度）: 0.9883261192383613
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Learning approaches based on Convolutional Neural Networks (CNNs) are
extensively utilized and very successful in a wide range of application areas,
including image classification and speech recognition. For the execution of
trained CNNs, i.e. model inference, we nowadays witness a shift from the Cloud
to the Edge. Unfortunately, deploying and inferring large, compute and memory
intensive CNNs on edge devices is challenging because these devices typically
have limited power budgets and compute/memory resources. One approach to
address this challenge is to leverage all available resources across multiple
edge devices to deploy and execute a large CNN by properly partitioning the CNN
and running each CNN partition on a separate edge device. Although such
distribution, deployment, and execution of large CNNs on multiple edge devices
is a desirable and beneficial approach, there currently does not exist a design
and programming framework that takes a trained CNN model, together with a CNN
partitioning specification, and fully automates the CNN model splitting and
deployment on multiple edge devices to facilitate distributed CNN inference at
the Edge. Therefore, in this paper, we propose a novel framework, called
AutoDiCE, for automated splitting of a CNN model into a set of sub-models and
automated code generation for distributed and collaborative execution of these
sub-models on multiple, possibly heterogeneous, edge devices, while supporting
the exploitation of parallelism among and within the edge devices. Our
experimental results show that AutoDiCE can deliver distributed CNN inference
with reduced energy consumption and memory usage per edge device, and improved
overall system throughput at the same time.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)に基づくディープラーニングアプローチは、画像分類や音声認識を含む幅広い応用領域で広く利用され、非常に成功している。
トレーニング済みのCNN、すなわちモデル推論の実行については、今日ではクラウドからエッジへの移行を目撃しています。
残念なことに、エッジデバイスに大規模な計算およびメモリ集約型cnnをデプロイおよび推論することは、通常、電力予算と計算/メモリリソースが限られているため、難しい。
この課題に対処する1つのアプローチは、CNNを適切に分割し、それぞれのCNNパーティションを別々のエッジデバイス上で実行することで、複数のエッジデバイスで利用可能なリソースをすべて活用して、大規模なCNNをデプロイおよび実行することである。
大規模なCNNを複数のエッジデバイスで配布、デプロイ、実行することは望ましいアプローチであるが、現在、トレーニング済みのCNNモデルをCNNパーティショニング仕様とともに取り、Edgeでの分散CNN推論を促進するために複数のエッジデバイス上でのCNNモデルの分割とデプロイを完全に自動化する設計およびプログラミングフレームワークは存在しない。
そこで本稿では,CNNモデルのサブモデルへの自動分割と,複数の,おそらく異種であるエッジデバイス上でのこれらのサブモデルの分散的かつ協調的な実行のためのコード生成を実現するための,AutoDiCEという新しいフレームワークを提案する。
実験の結果、AutoDiCEは、エッジデバイス当たりのエネルギー消費とメモリ使用量の削減による分散CNN推論を実現し、システム全体のスループットを同時に改善できることがわかった。
関連論文リスト
- Model Parallel Training and Transfer Learning for Convolutional Neural Networks by Domain Decomposition [0.0]
ディープ畳み込みニューラルネットワーク(CNN)は、幅広い画像処理アプリケーションで非常に成功したことが示されている。
モデルパラメータの増大と大量のトレーニングデータの増加により、複雑なCNNを効率的に訓練するための並列化戦略が必要である。
論文 参考訳（メタデータ） (2024-08-26T17:35:01Z) - OA-CNNs: Omni-Adaptive Sparse CNNs for 3D Semantic Segmentation [70.17681136234202]
設計上の違いを再検討し、スパースCNNが達成できることの限界をテストする。
本稿では,このギャップを埋めるために,適応受容場(親和性)と適応関係という2つの重要な要素を提案する。
この調査により、軽量モジュールを統合するネットワークのファミリーであるOmni-Adaptive 3D CNN(OA-CNN)が開発された。
論文 参考訳（メタデータ） (2024-03-21T14:06:38Z) - Dynamic Semantic Compression for CNN Inference in Multi-access Edge
Computing: A Graph Reinforcement Learning-based Autoencoder [82.8833476520429]
部分オフロードにおける効果的な意味抽出と圧縮のための新しい意味圧縮手法であるオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。
セマンティックエンコーダでは、CNNのチャネルアテンション機構に基づく特徴圧縮モジュールを導入し、最も情報性の高い特徴を選択して中間データを圧縮する。
セマンティックデコーダでは、受信した圧縮データから学習して中間データを再構築し、精度を向上させる軽量デコーダを設計する。
論文 参考訳（メタデータ） (2024-01-19T15:19:47Z) - DietCNN: Multiplication-free Inference for Quantized CNNs [9.295702629926025]
本稿では,CNNにおける乗算をテーブルルックアップで置き換える手法を提案する。
単一のアクティベーションコードブックに基づく乗算自由なCNNは、推論あたりのエネルギーの4.7倍、5.6倍、3.5倍の削減を達成できることが示されている。
論文 参考訳（メタデータ） (2023-05-09T08:54:54Z) - Attention-based Feature Compression for CNN Inference Offloading in Edge
Computing [93.67044879636093]
本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。
エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。
実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
論文 参考訳（メタデータ） (2022-11-24T18:10:01Z) - Towards a General Purpose CNN for Long Range Dependencies in
$\mathrm{N}$D [49.57261544331683]
構造変化のない任意の解像度,次元,長さのタスクに対して,連続的な畳み込みカーネルを備えた単一CNNアーキテクチャを提案する。
1$mathrmD$)とビジュアルデータ(2$mathrmD$)の幅広いタスクに同じCCNNを適用することで、我々のアプローチの汎用性を示す。
私たちのCCNNは競争力があり、検討されたすべてのタスクで現在の最先端を上回ります。
論文 参考訳（メタデータ） (2022-06-07T15:48:02Z) - EffCNet: An Efficient CondenseNet for Image Classification on NXP
BlueBox [0.0]
エッジデバイスは、安価なハードウェアと限られた冷却と計算資源のために、限られた処理能力を提供する。
我々はエッジデバイスのためのEffCNetと呼ばれる新しいディープ畳み込みニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-11-28T21:32:31Z) - The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。
本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
論文 参考訳（メタデータ） (2021-01-29T07:46:39Z) - MGIC: Multigrid-in-Channels Neural Network Architectures [8.459177309094688]
本稿では,標準畳み込みニューラルネットワーク(CNN)におけるチャネル数に関して,パラメータ数の2次成長に対処するマルチグリッド・イン・チャネル手法を提案する。
近年の軽量CNNの成功にともなうCNNの冗長性に対処する。
論文 参考訳（メタデータ） (2020-11-17T11:29:10Z) - How Secure is Distributed Convolutional Neural Network on IoT Edge
Devices? [0.0]
異なるノードにわたる分散エッジネットワークに展開するCNNに対するTrojan攻撃を提案する。
これらの攻撃はディープラーニングモデル(LeNet、AlexNet)でテストされる
論文 参考訳（メタデータ） (2020-06-16T16:10:09Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳（メタデータ） (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。