論文の概要: DVFO: Learning-Based DVFS for Energy-Efficient Edge-Cloud Collaborative
Inference
- arxiv url: http://arxiv.org/abs/2306.01811v2
- Date: Mon, 12 Jun 2023 07:11:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-13 23:26:53.841449
- Title: DVFO: Learning-Based DVFS for Energy-Efficient Edge-Cloud Collaborative
Inference
- Title（参考訳）: DVFO:エネルギー効率の良いエッジクラウド協調推論のための学習ベースDVFS
- Authors: Ziyang Zhang, Yang Zhao, Huan Li, Changyao Lin, and Jie Liu
- Abstract要約: 本稿では,新しいDVFS対応エッジクラウド協調推論フレームワークであるDVFOを提案する。
エッジデバイスのCPU、GPU、メモリを自動で最適化する。
最先端の計画に比べて、エネルギー消費を平均で33%削減する。
- 参考スコア（独自算出の注目度）: 12.095934624748686
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Due to edge device resource constraints and different characteristics of deep
neural network (DNN) models, it is a big challenge to optimize DNN inference
performance in terms of energy consumption and end-to-end latency on edge
devices. In addition to the dynamic voltage frequency scaling (DVFS) technique,
the edge-cloud architecture provides a collaborative approach to efficient DNN
inference. However, current edge-cloud collaborative inference methods have not
optimized various compute resources on edge devices. Thus, we propose DVFO, a
novel DVFS-enabled edge-cloud collaborative inference framework, which jointly
optimize DVFS and offloading parameters via deep reinforcement learning (DRL).
Specifically, DVFO automatically co-optimizes 1) CPU, GPU and memory
frequencies of edge devices, and 2) feature maps to be offloaded to cloud
servers. In addition, it leverages a thinking-while-moving concurrent mechanism
to accelerate the DRL learning process, and a spatial-channel attention
mechanism to extract DNN feature maps of secondary importance for workload
offloading. This approach improves energy efficiency and end-to-end latency for
different DNN models under various edge-cloud network conditions. Extensive
experiments on heterogeneous edge devices with various widely-deployed DNN
models under different datasets show that DVFO significantly reduces the energy
consumption by 33% on average, compared to state-of-the-art schemes. Moreover,
DVFO achieves up to 28.6%-59.1% end-to-end latency reduction, while maintaining
original accuracy (within 1% loss on average).
- Abstract（参考訳）: エッジデバイスリソースの制約とディープニューラルネットワーク(DNN)モデルの異なる特性のため、エッジデバイス上でのエネルギー消費とエンドツーエンドレイテンシの観点から、DNN推論性能を最適化することは大きな課題である。
動的電圧周波数スケーリング(DVFS)技術に加えて、エッジクラウドアーキテクチャは効率的なDNN推論のための協調的なアプローチを提供する。
しかし、現在のエッジクラウド協調推論手法は、エッジデバイス上で様々な計算資源を最適化していない。
そこで我々は,dvfsとオフロードパラメータをdrl(deep reinforcement learning)で共同で最適化する,新しいdvfs対応エッジクラウド協調推論フレームワークdvfoを提案する。
具体的には、DVFOが自動的に最適化する
1)エッジデバイスのcpu、gpu、メモリ周波数、及び
2) 機能マップをクラウドサーバにオフロードする。
さらに、DRL学習プロセスの高速化のための思考時移動同時機構と、ワークロードオフロードにおいて重要なDNN特徴マップを抽出する空間チャネルアテンション機構を活用する。
このアプローチは、さまざまなエッジクラウドネットワーク条件下で異なるDNNモデルのエネルギー効率とエンドツーエンドレイテンシを改善する。
様々なデータセット下で広くデプロイされたDNNモデルを用いた異種エッジデバイスに対する大規模な実験により、DVFOは最先端のスキームと比較して、平均して33%のエネルギー消費を著しく削減することが示された。
さらに、DVFOは最大28.6%-59.1%のレイテンシ削減を実現し、元の精度(平均1%の損失)を維持している。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文 参考訳（メタデータ） (2024-10-16T16:13:19Z) - SpikeBottleNet: Spike-Driven Feature Compression Architecture for Edge-Cloud Co-Inference [0.86325068644655]
エッジクラウドコ推論システムのための新しいアーキテクチャであるSpikeBottleNetを提案する。
SpikeBottleNetはスパイクニューロンモデルを統合し、エッジデバイスのエネルギー消費を大幅に削減する。
論文 参考訳（メタデータ） (2024-10-11T09:59:21Z) - Dynamic Split Computing for Efficient Deep Edge Intelligence [78.4233915447056]
通信チャネルの状態に基づいて最適な分割位置を動的に選択する動的分割計算を導入する。
本研究では,データレートとサーバ負荷が時間とともに変化するエッジコンピューティング環境において,動的スプリットコンピューティングが高速な推論を実現することを示す。
論文 参考訳（メタデータ） (2022-05-23T12:35:18Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - Design and Scaffolded Training of an Efficient DNN Operator for Computer
Vision on the Edge [3.3767251810292955]
FuSeConvは深度的に分離可能な畳み込みの代替となる。
FuSeConvは、その空間と深さの次元に沿って畳み込みを完全に分解する。
Neural Operator Scaffoldingは、深度的に分離可能な畳み込みからの知識を蒸留することでFuSeConvのトレーニングを行う。
論文 参考訳（メタデータ） (2021-08-25T19:22:25Z) - Latency-Memory Optimized Splitting of Convolution Neural Networks for
Resource Constrained Edge Devices [1.6873748786804317]
我々は、エッジデバイスとクラウド間でCNNを実行することは、リソース制約のある最適化問題を解決することと同義であると主張している。
実世界のエッジデバイスでの実験では、LMOSはエッジで異なるCNNモデルの実行可能な実行を保証する。
論文 参考訳（メタデータ） (2021-07-19T19:39:56Z) - AppealNet: An Efficient and Highly-Accurate Edge/Cloud Collaborative
Architecture for DNN Inference [16.847204351692632]
AppealNetは、最先端のソリューションよりも効率的にディープラーニング(DL)タスクを実行する新しいエッジ/クラウド共同アーキテクチャです。
入力に対して appealnet は、リソース制約されたエッジデバイスにデプロイされたdlモデルによってうまく処理できるかどうかを正確に予測する。
論文 参考訳（メタデータ） (2021-05-10T04:13:35Z) - Dynamic DNN Decomposition for Lossless Synergistic Inference [0.9549013615433989]
ディープニューラルネットワーク(DNN)は、今日のデータ処理アプリケーションで高性能を維持します。
精度損失のない相乗的推論のための動的DNN分解システムD3を提案する。
d3は最先端のdnn推論時間を最大3.4倍に上回り、バックボーンネットワーク通信のオーバーヘッドを3.68倍に削減する。
論文 参考訳（メタデータ） (2021-01-15T03:18:53Z) - A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration
Framework [56.57225686288006]
モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。
従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。
プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-13T23:52:03Z) - Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of
Partitioned Edge Learning [73.82875010696849]
機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。
本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
論文 参考訳（メタデータ） (2020-03-10T05:52:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。