論文の概要: Communication-Efficient Separable Neural Network for Distributed
Inference on Edge Devices
- arxiv url: http://arxiv.org/abs/2111.02489v1
- Date: Wed, 3 Nov 2021 19:30:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-06 03:12:57.478710
- Title: Communication-Efficient Separable Neural Network for Distributed
Inference on Edge Devices
- Title(参考訳): エッジデバイス上での分散推論のための通信効率の良い分離型ニューラルネットワーク
- Authors: Jun-Liang Lin and Sheng-De Wang
- Abstract要約: 本稿では,分散推論のためのニューラルネットワークを分離するために,モデル並列性を利用する新しい手法を提案する。
デバイスの適切な仕様とモデルの構成の下で、エッジクラスタ上の大規模ニューラルネットワークの推論が分散し、加速可能であることを示す実験を行った。
- 参考スコア(独自算出の注目度): 2.28438857884398
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The inference of Neural Networks is usually restricted by the resources
(e.g., computing power, memory, bandwidth) on edge devices. In addition to
improving the hardware design and deploying efficient models, it is possible to
aggregate the computing power of many devices to enable the machine learning
models. In this paper, we proposed a novel method of exploiting model
parallelism to separate a neural network for distributed inferences. To achieve
a better balance between communication latency, computation latency, and
performance, we adopt neural architecture search (NAS) to search for the best
transmission policy and reduce the amount of communication. The best model we
found decreases by 86.6% of the amount of data transmission compared to the
baseline and does not impact performance much. Under proper specifications of
devices and configurations of models, our experiments show that the inference
of large neural networks on edge clusters can be distributed and accelerated,
which provides a new solution for the deployment of intelligent applications in
the internet of things (IoT).
- Abstract(参考訳): ニューラルネットワークの推論は通常、エッジデバイス上のリソース(例えば、コンピューティングパワー、メモリ、帯域幅)によって制限される。
ハードウェア設計の改善と効率的なモデルのデプロイに加えて、多くのデバイスのコンピューティングパワーを集約して機械学習モデルを有効にすることができる。
本稿では,分散推論のためのニューラルネットワークを分離するためにモデル並列性を利用する新しい手法を提案する。
通信遅延,計算遅延,性能のバランスを改善するために,最適な伝送ポリシを探索し通信量を削減するためにニューラルネットワーク検索(nas)を採用している。
最良のモデルは、ベースラインと比較してデータ転送量の86.6%減少し、パフォーマンスにはあまり影響しない。
デバイスの適切な仕様とモデルの構成の下で、エッジクラスタ上の大規模ニューラルネットワークの推論が分散し、加速可能であることを示し、モノのインターネット(IoT)にインテリジェントなアプリケーションをデプロイするための新しいソリューションを提供する。
関連論文リスト
- Adaptive ResNet Architecture for Distributed Inference in
Resource-Constrained IoT Systems [7.26437825413781]
本稿では,モデルの性能に大きな影響を及ぼすことなく,ResNetの接続を落とせることを示す実証的研究について述べる。
実験により、適応型ResNetアーキテクチャは、分散全体にわたって共有データ、エネルギー消費、遅延を低減できることを示した。
論文 参考訳(メタデータ) (2023-07-21T11:07:21Z) - Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
大規模空間問題に対する学習効率を向上させるために移動学習を用いる。
畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
論文 参考訳(メタデータ) (2023-06-14T01:24:42Z) - Neural Architecture Search for Improving Latency-Accuracy Trade-off in
Split Computing [5.516431145236317]
スプリットコンピューティングは、IoTシステムにディープラーニングをデプロイする際のプライバシとレイテンシの問題に対処する、新たな機械学習推論技術である。
スプリットコンピューティングでは、ニューラルネットワークモデルは、エッジサーバとIoTデバイスをネットワークを介して分離し、協調的に処理される。
本稿ではスプリットコンピューティングのためのニューラルアーキテクチャサーチ(NAS)手法を提案する。
論文 参考訳(メタデータ) (2022-08-30T03:15:43Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded
Systems [0.0]
畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。
本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
論文 参考訳(メタデータ) (2021-12-01T18:20:52Z) - Computational Intelligence and Deep Learning for Next-Generation
Edge-Enabled Industrial IoT [51.68933585002123]
エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。
本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。
特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
論文 参考訳(メタデータ) (2021-10-28T08:14:57Z) - SignalNet: A Low Resolution Sinusoid Decomposition and Estimation
Network [79.04274563889548]
本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。
基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。
シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
論文 参考訳(メタデータ) (2021-06-10T04:21:20Z) - Efficient Low-Latency Dynamic Licensing for Deep Neural Network
Deployment on Edge Devices [0.0]
エッジデバイス上でのディープニューラルネットワークの展開と処理を解決するアーキテクチャを提案する。
このアーキテクチャを採用することで、デバイスの低レイテンシモデル更新が可能になる。
論文 参考訳(メタデータ) (2021-02-24T09:36:39Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳(メタデータ) (2020-09-29T11:56:01Z) - Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G
Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。
このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文 参考訳(メタデータ) (2020-02-22T14:38:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。