論文の概要: AutoScale: Optimizing Energy Efficiency of End-to-End Edge Inference
under Stochastic Variance
- arxiv url: http://arxiv.org/abs/2005.02544v1
- Date: Wed, 6 May 2020 00:30:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 06:17:00.675744
- Title: AutoScale: Optimizing Energy Efficiency of End-to-End Edge Inference
under Stochastic Variance
- Title（参考訳）: AutoScale:確率的変動下での終端エッジ推論のエネルギー効率の最適化
- Authors: Young Geun Kim and Carole-Jean Wu
- Abstract要約: AutoScaleは、カスタム設計の強化学習アルゴリズムに基づいて構築された、適応的で軽量な実行スケーリングエンジンである。
本稿では,エッジでの高精度かつエネルギー効率の高いディープラーニング推論を実現するためのAutoScaleを提案する。
- 参考スコア（独自算出の注目度）: 11.093360539563657
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning inference is increasingly run at the edge. As the programming
and system stack support becomes mature, it enables acceleration opportunities
within a mobile system, where the system performance envelope is scaled up with
a plethora of programmable co-processors. Thus, intelligent services designed
for mobile users can choose between running inference on the CPU or any of the
co-processors on the mobile system, or exploiting connected systems, such as
the cloud or a nearby, locally connected system. By doing so, the services can
scale out the performance and increase the energy efficiency of edge mobile
systems. This gives rise to a new challenge - deciding when inference should
run where. Such execution scaling decision becomes more complicated with the
stochastic nature of mobile-cloud execution, where signal strength variations
of the wireless networks and resource interference can significantly affect
real-time inference performance and system energy efficiency. To enable
accurate, energy-efficient deep learning inference at the edge, this paper
proposes AutoScale. AutoScale is an adaptive and light-weight execution scaling
engine built upon the custom-designed reinforcement learning algorithm. It
continuously learns and selects the most energy-efficient inference execution
target by taking into account characteristics of neural networks and available
systems in the collaborative cloud-edge execution environment while adapting to
the stochastic runtime variance. Real system implementation and evaluation,
considering realistic execution scenarios, demonstrate an average of 9.8 and
1.6 times energy efficiency improvement for DNN edge inference over the
baseline mobile CPU and cloud offloading, while meeting the real-time
performance and accuracy requirement.
- Abstract（参考訳）: ディープラーニング推論はますますエッジで実行されています。
プログラミングとシステムスタックのサポートが成熟するにつれて、システムパフォーマンスエンベロープをプログラム可能なコプロセッサでスケールアップするモバイルシステム内のアクセラレーション機会が実現される。
したがって、モバイルユーザ向けに設計されたインテリジェントサービスは、CPU上での推論と、モバイルシステム上でのコプロセッサのいずれかの実行、あるいはクラウドや近くのローカルに接続されたシステムのような接続されたシステムを利用するかを選択できる。
これにより、サービスはパフォーマンスをスケールアウトし、エッジモバイルシステムのエネルギー効率を向上させることができる。
これにより、推論がどこで実行されるべきかを決めるという、新たな課題が生まれます。
このような実行のスケーリング決定は、無線ネットワークの信号強度の変動とリソースの干渉がリアルタイム推論のパフォーマンスとシステムエネルギー効率に大きく影響するモバイルクラウド実行の確率的性質とより複雑になる。
本稿では,エッジにおけるエネルギー効率の高いディープラーニング推論を実現するために,AutoScaleを提案する。
autoscaleは、カスタム設計の強化学習アルゴリズム上に構築された、適応的で軽量な実行スケーリングエンジンである。
確率的ランタイム分散に適応しながら、協調クラウドエッジ実行環境におけるニューラルネットワークと利用可能なシステムの特性を考慮して、最もエネルギー効率の高い推論実行目標を継続的に学習し、選択する。
実システムの実装と評価は、現実的な実行シナリオを考慮して、DNNのエッジ推論において、ベースラインのモバイルCPUとクラウドのオフロードに対して平均9.8倍と1.6倍のエネルギー効率の改善を実時間性能と精度の要件を満たしながら示している。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Latency optimized Deep Neural Networks (DNNs): An Artificial Intelligence approach at the Edge using Multiprocessor System on Chip (MPSoC) [1.949471382288103]
モバイルデバイスにおけるエッジコンピューティング(Edge at Edge)は、この要件に対処するための最適化されたアプローチのひとつだ。
本研究では,低レイテンシ・電力最適化型スマートモバイルシステムの実現の可能性と課題について考察する。
組込みFPGAエッジデバイス上でのニューラルネットワーク(NN)の性能と実装可能性について論じる。
論文 参考訳（メタデータ） (2024-07-16T11:51:41Z) - Energy-Efficient Federated Edge Learning with Streaming Data: A Lyapunov Optimization Approach [34.00679567444125]
本研究では,長期エネルギー制約下でのデータ到着や資源の可利用性に固有のランダム性に対処する動的スケジューリングと資源割当アルゴリズムを開発した。
提案アルゴリズムは, デバイススケジューリング, 計算容量調整, 帯域幅の割り当ておよび各ラウンドの送信電力を適応的に決定する。
本手法の有効性をシミュレーションにより検証し,ベースライン方式と比較して学習性能とエネルギー効率が向上したことを示す。
論文 参考訳（メタデータ） (2024-05-20T14:13:22Z) - Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。
提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
論文 参考訳（メタデータ） (2024-05-07T17:44:54Z) - Offloading and Quality Control for AI Generated Content Services in 6G Mobile Edge Computing Networks [18.723955271182007]
本稿では, 逆拡散段階における拡散モデルのオフロード決定, 計算時間, 拡散ステップに対する共同最適化アルゴリズムを提案する。
実験結果から,提案アルゴリズムはベースラインよりも優れた継手最適化性能が得られることが示された。
論文 参考訳（メタデータ） (2023-12-11T08:36:27Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Lyapunov-Driven Deep Reinforcement Learning for Edge Inference Empowered
by Reconfigurable Intelligent Surfaces [30.1512069754603]
本稿では,ワイヤレスエッジにおけるエネルギー効率,低レイテンシ,高精度な推論のための新しいアルゴリズムを提案する。
本稿では,新しいデータを一連のデバイスで連続的に生成・収集し,動的キューシステムを通じて処理するシナリオについて考察する。
論文 参考訳（メタデータ） (2023-05-18T12:46:42Z) - Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural
Networks on Edge NPUs [74.83613252825754]
スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。
これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。
そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
論文 参考訳（メタデータ） (2022-09-27T15:04:01Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - Multi-Exit Semantic Segmentation Networks [78.44441236864057]
本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。
パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。
接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
論文 参考訳（メタデータ） (2021-06-07T11:37:03Z) - Autodidactic Neurosurgeon: Collaborative Deep Inference for Mobile Edge
Intelligence via Online Learning [19.013102763434794]
本稿では,資源制約のあるモバイルデバイスと強力なエッジサーバとの間に協調的な深層推論システムを構築する。
我々のシステムには、Autodidactic Neurosurgeon (ANS)と呼ばれるオンライン学習モジュールが組み込まれており、最適な分割点を自動的に学習する。
ANSは、トラッキングシステムの変更とエンドツーエンドの推論遅延の低減の観点から、最先端のベンチマークを著しく上回る。
論文 参考訳（メタデータ） (2021-02-02T18:50:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。