論文の概要: DEFER: Distributed Edge Inference for Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2201.06769v1
- Date: Tue, 18 Jan 2022 06:50:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-20 00:53:04.150459
- Title: DEFER: Distributed Edge Inference for Deep Neural Networks
- Title（参考訳）: DEFER: ディープニューラルネットワークのための分散エッジ推論
- Authors: Arjun Parthasarathy and Bhaskar Krishnamachari
- Abstract要約: 分散エッジ推論のためのフレームワークであるDEFERを提案する。
ディープニューラルネットワークを複数の計算ノードに分散可能なレイヤに分割する。
ResNet50モデルでは、8ノードのDEFERの推論スループットは53%高く、ノード当たりのエネルギー消費量は1デバイス当たりの推測よりも63%低いことがわかった。
- 参考スコア（独自算出の注目度）: 5.672898304129217
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern machine learning tools such as deep neural networks (DNNs) are playing
a revolutionary role in many fields such as natural language processing,
computer vision, and the internet of things. Once they are trained, deep
learning models can be deployed on edge computers to perform classification and
prediction on real-time data for these applications. Particularly for large
models, the limited computational and memory resources on a single edge device
can become the throughput bottleneck for an inference pipeline. To increase
throughput and decrease per-device compute load, we present DEFER (Distributed
Edge inFERence), a framework for distributed edge inference, which partitions
deep neural networks into layers that can be spread across multiple compute
nodes. The architecture consists of a single "dispatcher" node to distribute
DNN partitions and inference data to respective compute nodes. The compute
nodes are connected in a series pattern where each node's computed result is
relayed to the subsequent node. The result is then returned to the Dispatcher.
We quantify the throughput, energy consumption, network payload, and overhead
for our framework under realistic network conditions using the CORE network
emulator. We find that for the ResNet50 model, the inference throughput of
DEFER with 8 compute nodes is 53% higher and per node energy consumption is 63%
lower than single device inference. We further reduce network communication
demands and energy consumption using the ZFP serialization and LZ4 compression
algorithms. We have implemented DEFER in Python using the TensorFlow and Keras
ML libraries, and have released DEFER as an open-source framework to benefit
the research community.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)のような現代の機械学習ツールは、自然言語処理、コンピュータビジョン、物のインターネットなど、多くの分野で革命的な役割を果たしている。
トレーニングが完了すると、エッジコンピュータにディープラーニングモデルをデプロイして、これらのアプリケーションのリアルタイムデータに対して分類と予測を行うことができる。
特に大規模モデルでは、単一エッジデバイス上の限られた計算資源とメモリ資源が、推論パイプラインのスループットボトルネックとなる可能性がある。
スループットの向上とデバイス毎の計算負荷の削減を目的として,複数の計算ノードに分散可能な層にディープニューラルネットワークを分割する分散エッジ推論フレームワークであるDEFER(Distributed Edge Inference)を提案する。
アーキテクチャは、DNNパーティションと推論データを各計算ノードに分散する単一の"分散"ノードで構成されている。
演算ノードは、各ノードの計算結果をその後のノードに中継する一連のパターンで接続される。
結果はdispatcherに返される。
COREネットワークエミュレータを用いて,現実的なネットワーク条件下でのスループット,エネルギー消費,ネットワークペイロード,オーバーヘッドを定量化する。
resnet50モデルでは、8つの計算ノードを持つdeferの推論スループットは53%高く、1ノードあたりのエネルギー消費量は1つのデバイス推論よりも63%低い。
さらに、ZFPシリアライゼーションとLZ4圧縮アルゴリズムを用いて、ネットワーク通信要求とエネルギー消費を削減する。
我々は、tensorflowとkeras mlライブラリを使用してpythonでdeferを実装し、研究コミュニティに利益をもたらすためのオープンソースフレームワークとしてdeferをリリースした。
関連論文リスト
- DISCO: Distributed Inference with Sparse Communications [4.463769269318892]
分散コンピューティングは、単一ノードのメモリ消費を減らすための一般的なアプローチである。
本稿では,各レイヤの推論を複数のノードに分散する「階層モデル並列化」について検討する。
画像分類,オブジェクト検出,セマンティックセグメンテーション,画像スーパーレゾリューションなど,様々なCVタスクに対するdisCOフレームワークの利点を示す。
論文 参考訳（メタデータ） (2023-02-22T07:20:34Z) - Dynamic Split Computing for Efficient Deep Edge Intelligence [78.4233915447056]
通信チャネルの状態に基づいて最適な分割位置を動的に選択する動的分割計算を導入する。
本研究では,データレートとサーバ負荷が時間とともに変化するエッジコンピューティング環境において,動的スプリットコンピューティングが高速な推論を実現することを示す。
論文 参考訳（メタデータ） (2022-05-23T12:35:18Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - DistGNN: Scalable Distributed Training for Large-Scale Graph Neural
Networks [58.48833325238537]
大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。
本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。
4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
論文 参考訳（メタデータ） (2021-04-14T08:46:35Z) - Edge-Detect: Edge-centric Network Intrusion Detection using Deep Neural
Network [0.0]
エッジノードは、Internet-of-Thingsエンドポイント上の複数のサイバー攻撃を検出するために不可欠である。
DLM技術を用いてエッジノードに対するDoS攻撃を検知する,軽量で高速かつ高精度なEdge-Detectモデルを開発した。
論文 参考訳（メタデータ） (2021-02-03T04:24:34Z) - ItNet: iterative neural networks with small graphs for accurate and
efficient anytime prediction [1.52292571922932]
本研究では,計算グラフの観点から,メモリフットプリントが小さいネットワークモデルについて紹介する。
CamVidおよびCityscapesデータセットでセマンティックセグメンテーションの最新の結果を示します。
論文 参考訳（メタデータ） (2021-01-21T15:56:29Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳（メタデータ） (2020-10-02T16:50:26Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z) - GPU Acceleration of Sparse Neural Networks [0.0]
グラフィカル処理ユニットを用いてスパースニューラルネットワークのフルアクティベートにおいて,大幅な高速化を実現することができることを示す。
その結果、スパースニューラルネットワークの活性化はGPUアクセラレーションに非常に役立ち、機械学習戦略の高速化に役立つことが示された。
論文 参考訳（メタデータ） (2020-05-09T02:18:31Z) - Learning Sparse & Ternary Neural Networks with Entropy-Constrained
Trained Ternarization (EC2T) [17.13246260883765]
ディープニューラルネットワーク(DNN)は、さまざまな機械学習アプリケーションで顕著な成功を収めている。
近年,資源に制約のあるデバイスにDNNを配置することへの関心が高まっている。
本稿では,スパースニューラルネットワークと3次ニューラルネットワークの汎用フレームワークであるEntropy-Constrained Trained Ternarization (EC2T)を提案する。
論文 参考訳（メタデータ） (2020-04-02T15:38:00Z) - EdgeNets:Edge Varying Graph Neural Networks [179.99395949679547]
本稿では、EdgeNetの概念を通じて、最先端グラフニューラルネットワーク(GNN)を統一する一般的なフレームワークを提案する。
EdgeNetはGNNアーキテクチャであり、異なるノードが異なるパラメータを使って異なる隣人の情報を測定することができる。
これは、ノードが実行でき、既存のグラフ畳み込みニューラルネットワーク(GCNN)とグラフアテンションネットワーク(GAT)の1つの定式化の下で包含できる一般的な線形で局所的な操作である。
論文 参考訳（メタデータ） (2020-01-21T15:51:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。