論文の概要: DVFO: Dynamic Voltage, Frequency Scaling and Workload Offloading for DNN Edge Inference

• arxiv url: http://arxiv.org/abs/2306.01811v1
• Date: Fri, 2 Jun 2023 07:00:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 23:59:33.021954
• Title: DVFO: Dynamic Voltage, Frequency Scaling and Workload Offloading for DNN Edge Inference
• Title（参考訳）: DVFO: DNNエッジ推論のための動的電圧、周波数スケーリング、ワークロード負荷
• Authors: Ziyang Zhang, Yang Zhao, Huan Li, and Jie Liu
• Abstract要約: 本稿では,新しいDVFS対応エッジクラウド協調推論フレームワークであるDVFOを提案する。 エッジデバイスのCPU、GPU、メモリの周波数を自動で最適化する。 これは最先端の計画に比べて平均エネルギー消費を33%削減する。
• 参考スコア（独自算出の注目度）: 12.977074523383205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Due to edge device resource constraints and different characteristics of deep neural network (DNN) models, it is a big challenge to optimize DNN inference performance in terms of energy consumption and inference latency on edge devices. In addition to the dynamic voltage frequency scaling (DVFS) technique, the edge-cloud architecture provides a collaborative approach to efficient DNN inference. However, current edge-cloud collaborative inference methods have not optimized various compute resources on edge devices. Thus, we propose DVFO, a novel DVFS-enabled edge-cloud collaborative inference framework, which jointly optimize DVFS and offloading parameters via deep reinforcement learning (DRL). Specifically, DVFO automatically co-optimizes 1) CPU, GPU and memory frequencies of edge devices, and 2) feature maps to be offloaded to cloud servers. In addition, it leverages a thinking-while-moving concurrent mechanism to accelerate the DRL learning process, and a spatialchannel attention mechanism to extract DNN feature maps of secondary importance for workload offloading. This approach improves energy efficiency and inference latency for different DNN models under various edge-cloud network conditions. Experimental results on different datasets show that DVFO reduces the average energy consumption by 33% compared to state-of-the-art schemes. Moreover, DVFO achieves up to 54% end-to-end inference latency reduction.
• Abstract（参考訳）: エッジデバイスのリソース制約とディープニューラルネットワーク(DNN)モデルの異なる特性のため、エッジデバイスのエネルギー消費と推論レイテンシの観点から、DNN推論性能を最適化することは大きな課題である。 動的電圧周波数スケーリング(DVFS)技術に加えて、エッジクラウドアーキテクチャは効率的なDNN推論のための協調的なアプローチを提供する。 しかし、現在のエッジクラウド協調推論手法は、エッジデバイス上で様々な計算資源を最適化していない。 そこで我々は,dvfsとオフロードパラメータをdrl(deep reinforcement learning)で共同で最適化する,新しいdvfs対応エッジクラウド協調推論フレームワークdvfoを提案する。 具体的には、DVFOが自動的に最適化する 1)エッジデバイスのcpu、gpu、メモリ周波数、及び 2) 機能マップをクラウドサーバにオフロードする。 さらに、DRL学習プロセスの高速化のための思考時移動同時機構と、作業負荷オフロードにおいて重要なDNN特徴マップを抽出する空間チャネルアテンション機構を活用する。 このアプローチは、さまざまなエッジクラウドネットワーク条件下で異なるDNNモデルのエネルギー効率と推論遅延を改善する。 異なるデータセットに対する実験結果から、DVFOは最先端のスキームに比べて平均エネルギー消費を33%削減することが示された。 さらに、DVFOは最大54%のエンドツーエンドの推論遅延削減を実現している。

関連論文リスト

• GDSG: Graph Diffusion-based Solution Generator for Optimization Problems in MEC Networks [109.17835015018532]
  グラフ拡散型ソリューション生成(GDSG)法を提案する。 このアプローチは、おそらく最適な解に収束しながら、最適以下のデータセットを扱うように設計されている。 グラフニューラルネットワーク(GNN)を用いたマルチタスク拡散モデルとしてGDSGを構築し,高品質な解の分布を求める。
  論文  参考訳（メタデータ） (2024-12-11T11:13:43Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• SpikeBottleNet: Spike-Driven Feature Compression Architecture for Edge-Cloud Co-Inference [0.86325068644655]
  エッジクラウドコ推論システムのための新しいアーキテクチャであるSpikeBottleNetを提案する。 SpikeBottleNetはスパイクニューロンモデルを統合し、エッジデバイスのエネルギー消費を大幅に削減する。
  論文  参考訳（メタデータ） (2024-10-11T09:59:21Z)
• Dynamic Split Computing for Efficient Deep Edge Intelligence [78.4233915447056]
  通信チャネルの状態に基づいて最適な分割位置を動的に選択する動的分割計算を導入する。 本研究では,データレートとサーバ負荷が時間とともに変化するエッジコンピューティング環境において,動的スプリットコンピューティングが高速な推論を実現することを示す。
  論文  参考訳（メタデータ） (2022-05-23T12:35:18Z)
• Design and Scaffolded Training of an Efficient DNN Operator for Computer Vision on the Edge [3.3767251810292955]
  FuSeConvは深度的に分離可能な畳み込みの代替となる。 FuSeConvは、その空間と深さの次元に沿って畳み込みを完全に分解する。 Neural Operator Scaffoldingは、深度的に分離可能な畳み込みからの知識を蒸留することでFuSeConvのトレーニングを行う。
  論文  参考訳（メタデータ） (2021-08-25T19:22:25Z)
• Latency-Memory Optimized Splitting of Convolution Neural Networks for Resource Constrained Edge Devices [1.6873748786804317]
  我々は、エッジデバイスとクラウド間でCNNを実行することは、リソース制約のある最適化問題を解決することと同義であると主張している。 実世界のエッジデバイスでの実験では、LMOSはエッジで異なるCNNモデルの実行可能な実行を保証する。
  論文  参考訳（メタデータ） (2021-07-19T19:39:56Z)
• AppealNet: An Efficient and Highly-Accurate Edge/Cloud Collaborative Architecture for DNN Inference [16.847204351692632]
  AppealNetは、最先端のソリューションよりも効率的にディープラーニング(DL)タスクを実行する新しいエッジ/クラウド共同アーキテクチャです。 入力に対して appealnet は、リソース制約されたエッジデバイスにデプロイされたdlモデルによってうまく処理できるかどうかを正確に予測する。
  論文  参考訳（メタデータ） (2021-05-10T04:13:35Z)
• Dynamic DNN Decomposition for Lossless Synergistic Inference [0.9549013615433989]
  ディープニューラルネットワーク(DNN)は、今日のデータ処理アプリケーションで高性能を維持します。 精度損失のない相乗的推論のための動的DNN分解システムD3を提案する。 d3は最先端のdnn推論時間を最大3.4倍に上回り、バックボーンネットワーク通信のオーバーヘッドを3.68倍に削減する。
  論文  参考訳（メタデータ） (2021-01-15T03:18:53Z)
• A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration Framework [56.57225686288006]
  モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。 従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。 プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-13T23:52:03Z)
• Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of Partitioned Edge Learning [73.82875010696849]
  機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。 本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
  論文  参考訳（メタデータ） (2020-03-10T05:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。