論文の概要: Conditionally Deep Hybrid Neural Networks Across Edge and Cloud
- arxiv url: http://arxiv.org/abs/2005.10851v1
- Date: Thu, 21 May 2020 18:18:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 22:37:22.315796
- Title: Conditionally Deep Hybrid Neural Networks Across Edge and Cloud
- Title(参考訳): エッジとクラウドをまたいだ条件付きディープハイブリッドニューラルネットワーク
- Authors: Yinghan Long, Indranil Chakraborty, Kaushik Roy
- Abstract要約: 本稿では,AIベースのフォグコンピューティングを実現するための条件付きディープハイブリッドニューラルネットワークを提案する。
提案するネットワークは、量子化された層と、エッジの早期出口と、クラウド上の完全精度の層で構成される分散的に展開することができる。
両層がエッジにある場合,提案した条件付きハイブリッドネットワークは,エッジでの推論の65%を処理し,計算エネルギーの5.5倍の削減を実現する。
- 参考スコア(独自算出の注目度): 6.442928757682793
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The pervasiveness of "Internet-of-Things" in our daily life has led to a
recent surge in fog computing, encompassing a collaboration of cloud computing
and edge intelligence. To that effect, deep learning has been a major driving
force towards enabling such intelligent systems. However, growing model sizes
in deep learning pose a significant challenge towards deployment in
resource-constrained edge devices. Moreover, in a distributed intelligence
environment, efficient workload distribution is necessary between edge and
cloud systems. To address these challenges, we propose a conditionally deep
hybrid neural network for enabling AI-based fog computing. The proposed network
can be deployed in a distributed manner, consisting of quantized layers and
early exits at the edge and full-precision layers on the cloud. During
inference, if an early exit has high confidence in the classification results,
it would allow samples to exit at the edge, and the deeper layers on the cloud
are activated conditionally, which can lead to improved energy efficiency and
inference latency. We perform an extensive design space exploration with the
goal of minimizing energy consumption at the edge while achieving
state-of-the-art classification accuracies on image classification tasks. We
show that with binarized layers at the edge, the proposed conditional hybrid
network can process 65% of inferences at the edge, leading to 5.5x
computational energy reduction with minimal accuracy degradation on CIFAR-10
dataset. For the more complex dataset CIFAR-100, we observe that the proposed
network with 4-bit quantization at the edge achieves 52% early classification
at the edge with 4.8x energy reduction. The analysis gives us insights on
designing efficient hybrid networks which achieve significantly higher energy
efficiency than full-precision networks for edge-cloud based distributed
intelligence systems.
- Abstract(参考訳): 日々の生活における"インターネット"の浸透は、クラウドコンピューティングとエッジインテリジェンスとのコラボレーションを含む、近年の霧のコンピューティングの急増につながっている。
そのため、深層学習は、このようなインテリジェントなシステムを実現するための大きな原動力となっている。
しかし、ディープラーニングにおけるモデルサイズの増加は、リソース制約のあるエッジデバイスへのデプロイに重大な課題をもたらす。
さらに、分散インテリジェンス環境では、エッジシステムとクラウドシステムの間で効率的なワークロード分散が必要である。
そこで本研究では,aiベースのフォグコンピューティングを実現するための条件付き深層ハイブリッドニューラルネットワークを提案する。
提案するネットワークは、量子化されたレイヤとエッジの早期出口と、クラウド上の全精度レイヤで構成された分散配置が可能である。
推論中、早期のエグジットが分類結果に高い信頼を持てば、サンプルがエッジから出て、クラウドの深い層が条件付きで活性化され、エネルギー効率と推論遅延が向上する可能性がある。
エッジでのエネルギー消費を最小限に抑えるとともに,画像分類タスクにおける最先端の分類精度を実現し,広範な設計空間探索を行う。
両層をエッジに配置することで,条件付きハイブリッドネットワークがエッジでの推論の65%を処理でき,cifar-10データセット上では5.5倍の計算エネルギー削減が可能となる。
より複雑なデータセットCIFAR-100では、エッジで4ビット量子化を行うネットワークが、エッジで52%の早期分類を実現し、エネルギーを4.8倍削減する。
この分析により、エッジクラウドベースの分散インテリジェンスシステムのための完全精度ネットワークよりもはるかに高いエネルギー効率を実現する効率的なハイブリッドネットワークの設計に関する洞察が得られる。
関連論文リスト
- I-SplitEE: Image classification in Split Computing DNNs with Early Exits [5.402030962296633]
大規模なDeep Neural Networks(DNN)は、エッジやモバイル、IoTプラットフォームといったリソース制約のあるデバイスにデプロイするのを妨げる。
我々の研究は、アーリーエグジットとスプリットコンピューティングを融合した革新的な統一アプローチを提示している。
I-SplitEEは、地上の真実とシーケンシャルなデータを持たないシナリオに理想的なオンラインの教師なしアルゴリズムである。
論文 参考訳(メタデータ) (2024-01-19T07:44:32Z) - Green Edge AI: A Contemporary Survey [49.47249665895926]
グリーンエッジAIに関する現代の調査を紹介する。
その可能性にもかかわらず、エッジAIは重大な課題に直面している。主な原因は、無線エッジネットワークのリソース制限と、ディープラーニング(DL)のリソース集約性との間の二分である。
我々は、エッジAIシステムにおける3つの重要なタスクに対して、トレーニングデータ取得、エッジトレーニング、エッジ推論を含むエネルギー効率の高い設計手法について検討する。
論文 参考訳(メタデータ) (2023-12-01T04:04:37Z) - Deep Reinforcement Learning Based Resource Allocation for Cloud Native
Wireless Network [20.377823731801456]
クラウドネイティブ技術は、5G以上の通信ネットワークと6G通信ネットワークに革命をもたらし、前例のないレベルの運用自動化、柔軟性、適応性を提供します。
クラウドネイティブなサービスとアプリケーションの広大な範囲は、動的クラウドコンピューティング環境のリソース割り当てにおいて、新たな課題をもたらしている。
深層強化学習手法を導入し,ネットワーク状態をモニタリングし,動的にアロケーションポリシーを訓練できる2つのモデルフリーアルゴリズムを導入する。
本研究は,ネットワーク効率の大幅な向上を実証し,クラウドネイティブ無線ネットワークの潜在能力を最大限に活用するための提案手法の可能性を明らかにした。
論文 参考訳(メタデータ) (2023-05-10T15:32:22Z) - Hierarchical Training of Deep Neural Networks Using Early Exiting [50.49194837327223]
深層ニューラルネットワークは、ビジョンタスクに最先端の精度を提供するが、トレーニングにはかなりのリソースを必要とする。
ディープニューラルネットワークは、データを取得するエッジデバイスから遠く離れたクラウドサーバでトレーニングされる。
エッジとクラウドワーカ間の分割アーキテクチャにおいて,早期出口を用いた新しい階層的ニューラルネットワークトレーニング手法が提案されている。
論文 参考訳(メタデータ) (2023-03-04T11:30:16Z) - Edge YOLO: Real-Time Intelligent Object Detection System Based on
Edge-Cloud Cooperation in Autonomous Vehicles [5.295478084029605]
本稿では,エッジクラウド協調と再構成畳み込みニューラルネットワークに基づくオブジェクト検出(OD)システムを提案する。
このシステムは、クラウドコンピューティングリソースの計算能力と不均一な分散への過度な依存を効果的に回避することができる。
我々は,COCO 2017 および KITTI データセットにおける Edge YOLO の信頼性と効率を実験的に実証した。
論文 参考訳(メタデータ) (2022-05-30T09:16:35Z) - POEM: 1-bit Point-wise Operations based on Expectation-Maximization for
Efficient Point Cloud Processing [53.74076015905961]
我々は,効率的なポイントクラウド処理のために,期待最大化に基づくポイントワイズ処理をBNNに導入する。
私たちのPOEMは、最先端のバイナリポイントクラウドネットワークを6.7%まで大きく上回っている。
論文 参考訳(メタデータ) (2021-11-26T09:45:01Z) - Deep Reinforcement Learning Based Multidimensional Resource Management
for Energy Harvesting Cognitive NOMA Communications [64.1076645382049]
エネルギー収穫(EH)、認知無線(CR)、非直交多重アクセス(NOMA)の組み合わせはエネルギー効率を向上させるための有望な解決策である。
本稿では,決定論的CR-NOMA IoTシステムにおけるスペクトル,エネルギー,時間資源管理について検討する。
論文 参考訳(メタデータ) (2021-09-17T08:55:48Z) - On Topology Optimization and Routing in Integrated Access and Backhaul
Networks: A Genetic Algorithm-based Approach [70.85399600288737]
IABネットワークにおけるトポロジ最適化とルーティングの問題について検討する。
我々は、IABノード配置と非IABバックホールリンク分布の両方に効率的な遺伝的アルゴリズムベースのスキームを開発する。
メッシュベースのIABネットワークを実現する上での課題について論じる。
論文 参考訳(メタデータ) (2021-02-14T21:52:05Z) - Towards AIOps in Edge Computing Environments [60.27785717687999]
本稿では,異種分散環境に適用可能なaiopsプラットフォームのシステム設計について述べる。
高頻度でメトリクスを収集し、エッジデバイス上で特定の異常検出アルゴリズムを直接実行することが可能である。
論文 参考訳(メタデータ) (2021-02-12T09:33:00Z) - CoEdge: Cooperative DNN Inference with Adaptive Workload Partitioning
over Heterogeneous Edge Devices [39.09319776243573]
CoEdgeは、異種エッジデバイス上での協調推論をオーケストレーションする分散ディープニューラルネットワーク(DNN)コンピューティングシステムである。
CoEdgeは4つの広く採用されているCNNモデルに対して25.5%66.9%のエネルギー削減を実現し、予測遅延を短くして省エネする。
論文 参考訳(メタデータ) (2020-12-06T13:15:52Z) - Deep Reinforcement Learning for Adaptive Network Slicing in 5G for
Intelligent Vehicular Systems and Smart Cities [19.723551683930776]
エッジコントローラ(EC)と協調したフォグノードのクラスタ(FN)に基づくネットワークスライシングモデルを開発する。
クラスタ内の各サービスリクエストに対して、ECは、どのFNがタスクを実行し、エッジでローカルにリクエストをサーブするか、あるいはタスクを拒否し、それをクラウドに参照するかを決定する。
本稿では,最適スライシングポリシーを適応的に学習する深層強化学習(DRL)ソリューションを提案する。
論文 参考訳(メタデータ) (2020-10-19T23:30:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。