論文の概要: PolyThrottle: Energy-efficient Neural Network Inference on Edge Devices
- arxiv url: http://arxiv.org/abs/2310.19991v2
- Date: Tue, 9 Jan 2024 07:13:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 19:47:07.987724
- Title: PolyThrottle: Energy-efficient Neural Network Inference on Edge Devices
- Title(参考訳): PolyThrottle:エッジデバイス上でのエネルギー効率の良いニューラルネットワーク推論
- Authors: Minghao Yan, Hongyi Wang, Shivaram Venkataraman
- Abstract要約: ML駆動システムの連続運転は、推論中にかなりのエネルギー消費をもたらす。
本稿では,GPU,メモリ,CPU周波数などのデバイス上のハードウェア要素の構成が,通常の微調整によるNN推論のエネルギー消費に与える影響について検討する。
本稿では,Constrained Bayesian Optimization を用いて,各ハードウェアコンポーネント間の構成をエネルギー保存的に最適化するPolyThrottleを提案する。
- 参考スコア(独自算出の注目度): 10.01838504586422
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As neural networks (NN) are deployed across diverse sectors, their energy
demand correspondingly grows. While several prior works have focused on
reducing energy consumption during training, the continuous operation of
ML-powered systems leads to significant energy use during inference. This paper
investigates how the configuration of on-device hardware-elements such as GPU,
memory, and CPU frequency, often neglected in prior studies, affects energy
consumption for NN inference with regular fine-tuning. We propose PolyThrottle,
a solution that optimizes configurations across individual hardware components
using Constrained Bayesian Optimization in an energy-conserving manner. Our
empirical evaluation uncovers novel facets of the energy-performance
equilibrium showing that we can save up to 36 percent of energy for popular
models. We also validate that PolyThrottle can quickly converge towards
near-optimal settings while satisfying application constraints.
- Abstract(参考訳): ニューラルネットワーク(NN)が多様な分野に展開されるにつれて、そのエネルギー需要は増加する。
いくつかの先行研究は、訓練中のエネルギー消費の削減に重点を置いているが、ML駆動システムの連続運転は、推論中にかなりのエネルギー消費をもたらす。
本稿では、従来の研究で無視されるGPU、メモリ、CPU周波数などのデバイス上のハードウェア要素の構成が、通常の微調整によるNN推論におけるエネルギー消費にどのように影響するかを検討する。
本稿では,Constrained Bayesian Optimization を用いて,各ハードウェアコンポーネント間で構成を最適化するPolyThrottleを提案する。
我々の経験的評価は、人気のあるモデルで最大36%のエネルギーを節約できることを示すエネルギー性能均衡の新しい側面を明らかにする。
また、PolyThrottleがアプリケーション制約を満たしつつ、ほぼ最適設定に迅速に収束できることを検証する。
関連論文リスト
- Unveiling Energy Efficiency in Deep Learning: Measurement, Prediction,
and Scoring across Edge Devices [8.54878778868253]
我々はエネルギー測定、予測、効率評価を含む3倍の研究を行う。
まず、デバイス上での深層学習のエネルギー消費特性を明らかにするための、第1級の詳細な測定結果を示す。
第2に、カーネルレベルのエネルギーデータセットに基づいて、エッジデバイスのための最初のカーネルレベルのエネルギー予測器を設計、実装する。
論文 参考訳(メタデータ) (2023-10-19T23:55:00Z) - CARMA: Context-Aware Runtime Reconfiguration for Energy-Efficient Sensor
Fusion [11.313017866190622]
CARMA: 実行時にコンテキストを用いて計算フローを再構成するコンテキスト認識型センサ融合手法を提案する。
CARMAは、性能を損なうことなく、多感性物体検出器によって使用されるエネルギーを著しく削減する。
我々は,複数の文脈識別戦略を評価し,新しいシステム全体のエネルギーパフォーマンス共同最適化を提案し,シナリオ固有の知覚性能を評価する。
論文 参考訳(メタデータ) (2023-06-27T19:00:07Z) - Sustainable Edge Intelligence Through Energy-Aware Early Exiting [0.726437825413781]
EHエッジインテリジェンスシステムにおいて,エネルギー適応型動的早期退避を提案する。
提案手法は, サンプルごとの最適計算量を決定する, エネルギー対応のEEポリシーを導出する。
その結果, エネルギーに依存しない政策と比較して, 精度は25%, サービスレートは35%向上した。
論文 参考訳(メタデータ) (2023-05-23T14:17:44Z) - Distributed Energy Management and Demand Response in Smart Grids: A
Multi-Agent Deep Reinforcement Learning Framework [53.97223237572147]
本稿では、自律制御と再生可能エネルギー資源のスマート電力グリッドシステムへの統合のための多エージェント深層強化学習(DRL)フレームワークを提案する。
特に,提案フレームワークは,住宅利用者に対する需要応答 (DR) と分散エネルギー管理 (DEM) を共同で検討している。
論文 参考訳(メタデータ) (2022-11-29T01:18:58Z) - Enforcing Policy Feasibility Constraints through Differentiable
Projection for Energy Optimization [57.88118988775461]
本稿では,ニューラルポリシー内での凸操作制約を強制するために,PROF(Projected Feasibility)を提案する。
エネルギー効率の高い建築操作とインバータ制御の2つの応用についてPROFを実証する。
論文 参考訳(メタデータ) (2021-05-19T01:58:10Z) - Threshold-Based Data Exclusion Approach for Energy-Efficient Federated
Edge Learning [4.25234252803357]
Federated Edge Learning (FEEL) は次世代無線ネットワークにおいて有望な分散学習技術である。
FEELは、モデルトレーニングラウンド中に消費される電力により、エネルギー制約された参加機器の寿命を大幅に短縮する可能性がある。
本稿では,FEELラウンドにおける計算および通信エネルギー消費を最小化するための新しい手法を提案する。
論文 参考訳(メタデータ) (2021-03-30T13:34:40Z) - To Talk or to Work: Flexible Communication Compression for Energy
Efficient Federated Learning over Heterogeneous Mobile Edge Devices [78.38046945665538]
巨大なモバイルエッジデバイス上でのフェデレーション学習(FL)は、多数のインテリジェントなモバイルアプリケーションのための新たな地平を開く。
FLは、定期的なグローバル同期と継続的なローカルトレーニングにより、参加するデバイスに膨大な通信と計算負荷を課す。
フレキシブルな通信圧縮を可能にする収束保証FLアルゴリズムを開発。
論文 参考訳(メタデータ) (2020-12-22T02:54:18Z) - Intermittent Inference with Nonuniformly Compressed Multi-Exit Neural
Network for Energy Harvesting Powered Devices [17.165614326127287]
この研究は、EH(Energy-harvesting)駆動デバイスに対して、永続的でイベント駆動のセンシングと意思決定機能を実現することを目的としている。
我々は,マルチ出口ニューラルネットワークをEHマイクロコントローラに圧縮・展開するためのパワートレース認識および出口誘導型ネットワーク圧縮アルゴリズムを開発した。
実験は最先端技術と比較して精度とレイテンシが優れている。
論文 参考訳(メタデータ) (2020-04-23T16:19:22Z) - Energy-Based Processes for Exchangeable Data [109.04978766553612]
エネルギーベースモデルを交換可能なデータに拡張するために、エネルギーベースプロセス(EBP)を導入する。
EBPの鍵となる利点は、集合上のより柔軟な分布を、その濃度を制限することなく表現できることである。
本研究では,多種多様なタスクにおける最先端性能を実演する電子掲示板の効率的な訓練手順を開発する。
論文 参考訳(メタデータ) (2020-03-17T04:26:02Z) - Risk-Aware Energy Scheduling for Edge Computing with Microgrid: A
Multi-Agent Deep Reinforcement Learning Approach [82.6692222294594]
マイクログリッドを用いたMECネットワークにおけるリスク対応エネルギースケジューリング問題について検討する。
ニューラルネットワークを用いたマルチエージェントディープ強化学習(MADRL)に基づくアドバンテージアクター・クリティック(A3C)アルゴリズムを適用し,その解を導出する。
論文 参考訳(メタデータ) (2020-02-21T02:14:38Z) - Multi-Agent Meta-Reinforcement Learning for Self-Powered and Sustainable
Edge Computing Systems [87.4519172058185]
エッジコンピューティング機能を有するセルフパワー無線ネットワークの効率的なエネルギー分配機構について検討した。
定式化問題を解くために,新しいマルチエージェントメタ強化学習(MAMRL)フレームワークを提案する。
実験の結果、提案されたMAMRLモデルは、再生不可能なエネルギー使用量を最大11%削減し、エネルギーコストを22.4%削減できることが示された。
論文 参考訳(メタデータ) (2020-02-20T04:58:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。