論文の概要: Adaptive ResNet Architecture for Distributed Inference in
Resource-Constrained IoT Systems
- arxiv url: http://arxiv.org/abs/2307.11499v1
- Date: Fri, 21 Jul 2023 11:07:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-24 12:42:16.009118
- Title: Adaptive ResNet Architecture for Distributed Inference in
Resource-Constrained IoT Systems
- Title（参考訳）: リソース制約型IoTシステムにおける分散推論のための適応型ResNetアーキテクチャ
- Authors: Fazeela Mazhar Khan and Emna Baccour and Aiman Erbad and Mounir Hamdi
- Abstract要約: 本稿では,モデルの性能に大きな影響を及ぼすことなく,ResNetの接続を落とせることを示す実証的研究について述べる。
実験により、適応型ResNetアーキテクチャは、分散全体にわたって共有データ、エネルギー消費、遅延を低減できることを示した。
- 参考スコア（独自算出の注目度）: 7.26437825413781
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As deep neural networks continue to expand and become more complex, most edge
devices are unable to handle their extensive processing requirements.
Therefore, the concept of distributed inference is essential to distribute the
neural network among a cluster of nodes. However, distribution may lead to
additional energy consumption and dependency among devices that suffer from
unstable transmission rates. Unstable transmission rates harm real-time
performance of IoT devices causing low latency, high energy usage, and
potential failures. Hence, for dynamic systems, it is necessary to have a
resilient DNN with an adaptive architecture that can downsize as per the
available resources. This paper presents an empirical study that identifies the
connections in ResNet that can be dropped without significantly impacting the
model's performance to enable distribution in case of resource shortage. Based
on the results, a multi-objective optimization problem is formulated to
minimize latency and maximize accuracy as per available resources. Our
experiments demonstrate that an adaptive ResNet architecture can reduce shared
data, energy consumption, and latency throughout the distribution while
maintaining high accuracy.
- Abstract（参考訳）: ディープニューラルネットワークが拡大し、さらに複雑化するにつれて、ほとんどのエッジデバイスは、その広範な処理要求に対処できない。
したがって、分散推論の概念は、ニューラルネットワークをノードのクラスタに分散するために不可欠である。
しかし、分布は不安定な伝送速度に苦しむデバイス間でエネルギー消費と依存を増大させる可能性がある。
不安定な送信速度は、低レイテンシ、高エネルギー使用量、潜在的な障害を引き起こすIoTデバイスのリアルタイムパフォーマンスを損なう。
したがって、動的システムには、利用可能なリソースに応じて縮小可能な適応アーキテクチャを備えた回復力のあるDNNが必要である。
本稿では,リソース不足時に分散を実現するために,モデルの性能に大きな影響を与えることなく,ドロップできるresnetの接続を識別する実験的な研究を行う。
この結果に基づき,複数目的最適化問題を定式化し,レイテンシを最小化し,資源当たりの精度を最大化する。
実験により,アダプティブresnetアーキテクチャは,高い精度を維持しつつ,共有データ,エネルギー消費,分散全体のレイテンシを低減できることを実証した。
関連論文リスト
- Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-04T04:18:01Z) - Efficient Parallel Split Learning over Resource-constrained Wireless
Edge Networks [44.37047471448793]
本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。
そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。
提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
論文 参考訳（メタデータ） (2023-03-26T16:09:48Z) - Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。
この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
論文 参考訳（メタデータ） (2022-12-25T15:40:05Z) - Network Aware Compute and Memory Allocation in Optically Composable Data
Centres with Deep Reinforcement Learning and Graph Neural Networks [0.0]
リソースを分離したデータセンタアーキテクチャは、データセンタ内でリソースをリモートにプールする手段を約束する。
データセンターネットワーク(DCN)における光スイッチング回路のバックボーンを用いて,これを実現する方法を示す。
本稿では, エンフディープ強化学習を用いて, 効率的なエンフネットワーク認識と, エンフトポロジ的にスケール可能なアロケーションポリシをエンドツーエンドに学習する方法を示す。
論文 参考訳（メタデータ） (2022-10-26T09:46:50Z) - DISTREAL: Distributed Resource-Aware Learning in Heterogeneous Systems [2.1506382989223782]
計算資源の不均一性,制限,時間変化のあるデバイス上でのニューラルネットワーク(NN)の分散トレーニングの問題について検討する。
本稿では,適応型,リソース対応,オンデバイス学習機構であるDISTREALを提案する。
論文 参考訳（メタデータ） (2021-12-16T10:15:31Z) - Communication-Efficient Separable Neural Network for Distributed
Inference on Edge Devices [2.28438857884398]
本稿では,分散推論のためのニューラルネットワークを分離するために,モデル並列性を利用する新しい手法を提案する。
デバイスの適切な仕様とモデルの構成の下で、エッジクラスタ上の大規模ニューラルネットワークの推論が分散し、加速可能であることを示す実験を行った。
論文 参考訳（メタデータ） (2021-11-03T19:30:28Z) - Computational Intelligence and Deep Learning for Next-Generation
Edge-Enabled Industrial IoT [51.68933585002123]
エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。
本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。
特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
論文 参考訳（メタデータ） (2021-10-28T08:14:57Z) - Federated Learning over Wireless IoT Networks with Optimized
Communication and Resources [98.18365881575805]
協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。
無線システム上での高速応答および高精度FLスキームの検証が重要である。
提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
論文 参考訳（メタデータ） (2021-10-22T13:25:57Z) - Distribution-sensitive Information Retention for Accurate Binary Neural
Network [49.971345958676196]
本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。
我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。
我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
論文 参考訳（メタデータ） (2021-09-25T10:59:39Z) - Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。
本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。
我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
論文 参考訳（メタデータ） (2020-04-08T10:08:20Z) - Deep Learning for Radio Resource Allocation with Diverse
Quality-of-Service Requirements in 5G [53.23237216769839]
本研究では,基地局の最適資源配分ポリシーを近似するディープラーニングフレームワークを開発する。
完全接続ニューラルネットワーク(NN)は,近似誤差とサブキャリア数の量子化誤差により,要求を完全に保証できないことがわかった。
無線チャネルの分布と無線ネットワークにおけるサービスのタイプが定常的でないことを考慮し,非定常的無線ネットワークにおけるNNの更新にディープトランスファー学習を適用した。
論文 参考訳（メタデータ） (2020-03-29T04:48:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。