Fugu-MT 論文翻訳(概要): PolyThrottle: Energy-efficient Neural Network Inference on Edge Devices

論文の概要: PolyThrottle: Energy-efficient Neural Network Inference on Edge Devices

arxiv url: http://arxiv.org/abs/2310.19991v1
Date: Mon, 30 Oct 2023 20:19:41 GMT
ステータス: 処理完了
システム内更新日: 2023-11-01 17:35:50.640925
Title: PolyThrottle: Energy-efficient Neural Network Inference on Edge Devices
Title（参考訳）: PolyThrottle:エッジデバイス上でのエネルギー効率の良いニューラルネットワーク推論
Authors: Minghao Yan, Hongyi Wang, Shivaram Venkataraman
Abstract要約: ML駆動システムの連続運転は、推論中にかなりのエネルギー消費をもたらす。本稿では,GPU,メモリ,CPU周波数などのデバイス上のハードウェア要素の構成が,通常の微調整によるNN推論のエネルギー消費に与える影響について検討する。本稿では,Constrained Bayesian Optimization を用いて,各ハードウェアコンポーネント間の構成をエネルギー保存的に最適化するPolyThrottleを提案する。
参考スコア（独自算出の注目度）: 10.01838504586422
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: As neural networks (NN) are deployed across diverse sectors, their energy demand correspondingly grows. While several prior works have focused on reducing energy consumption during training, the continuous operation of ML-powered systems leads to significant energy use during inference. This paper investigates how the configuration of on-device hardware-elements such as GPU, memory, and CPU frequency, often neglected in prior studies, affects energy consumption for NN inference with regular fine-tuning. We propose PolyThrottle, a solution that optimizes configurations across individual hardware components using Constrained Bayesian Optimization in an energy-conserving manner. Our empirical evaluation uncovers novel facets of the energy-performance equilibrium showing that we can save up to 36 percent of energy for popular models. We also validate that PolyThrottle can quickly converge towards near-optimal settings while satisfying application constraints.
Abstract（参考訳）: ニューラルネットワーク(NN)が多様な分野に展開されるにつれて、そのエネルギー需要は増加する。いくつかの先行研究は、訓練中のエネルギー消費の削減に重点を置いているが、ML駆動システムの連続運転は、推論中にかなりのエネルギー消費をもたらす。本稿では、従来の研究で無視されるGPU、メモリ、CPU周波数などのデバイス上のハードウェア要素の構成が、通常の微調整によるNN推論におけるエネルギー消費にどのように影響するかを検討する。本稿では,Constrained Bayesian Optimization を用いて,各ハードウェアコンポーネント間で構成を最適化するPolyThrottleを提案する。我々の経験的評価は、人気のあるモデルで最大36%のエネルギーを節約できることを示すエネルギー性能均衡の新しい側面を明らかにする。また、PolyThrottleがアプリケーション制約を満たしつつ、ほぼ最適設定に迅速に収束できることを検証する。

関連論文リスト

Energy-Aware Dynamic Neural Inference [39.04688735618206]
エネルギーハーベスターと有限容量エネルギーストレージを備えたオンデバイス適応型推論システムを提案する。環境エネルギーの速度が増加するにつれて、エネルギー・信頼性を考慮した制御方式は精度を約5%向上させることが示されている。我々は、信頼性を意識し、認識できないコントローラを理論的に保証する原則的なポリシーを導出する。
論文参考訳（メタデータ） (2024-11-04T16:51:22Z)
Revisiting DNN Training for Intermittently Powered Energy Harvesting Micro Computers [0.6721767679705013]
本研究では,エネルギー制約環境下でのディープニューラルネットワークに適した新しいトレーニング手法を紹介し,評価する。本稿では,デバイスアーキテクチャとエネルギー可用性の変動性の両方に適応する動的ドロップアウト手法を提案する。予備的な結果は、この戦略が5%未満の計算量を持つ最先端技術と比較して6～22%の精度向上をもたらすことを示している。
論文参考訳（メタデータ） (2024-08-25T01:13:00Z)
Federated Learning With Energy Harvesting Devices: An MDP Framework [5.852486435612777]
フェデレートラーニング(FL)では、エッジデバイスがローカルトレーニングを実行し、パラメータサーバと情報を交換する必要がある。実用FLシステムにおける重要な課題は、バッテリ限定エッジ装置の急激なエネルギー枯渇である。 FLシステムにエネルギー回収技術を適用し, エッジデバイスを連続的に駆動する環境エネルギーを抽出する。
論文参考訳（メタデータ） (2024-05-17T03:41:40Z)
Sustainable Edge Intelligence Through Energy-Aware Early Exiting [0.726437825413781]
EHエッジインテリジェンスシステムにおいて,エネルギー適応型動的早期退避を提案する。提案手法は, サンプルごとの最適計算量を決定する, エネルギー対応のEEポリシーを導出する。その結果, エネルギーに依存しない政策と比較して, 精度は25%, サービスレートは35%向上した。
論文参考訳（メタデータ） (2023-05-23T14:17:44Z)
Distributed Energy Management and Demand Response in Smart Grids: A Multi-Agent Deep Reinforcement Learning Framework [53.97223237572147]
本稿では、自律制御と再生可能エネルギー資源のスマート電力グリッドシステムへの統合のための多エージェント深層強化学習(DRL)フレームワークを提案する。特に,提案フレームワークは,住宅利用者に対する需要応答 (DR) と分散エネルギー管理 (DEM) を共同で検討している。
論文参考訳（メタデータ） (2022-11-29T01:18:58Z)
Enforcing Policy Feasibility Constraints through Differentiable Projection for Energy Optimization [57.88118988775461]
本稿では,ニューラルポリシー内での凸操作制約を強制するために,PROF(Projected Feasibility)を提案する。エネルギー効率の高い建築操作とインバータ制御の2つの応用についてPROFを実証する。
論文参考訳（メタデータ） (2021-05-19T01:58:10Z)
Threshold-Based Data Exclusion Approach for Energy-Efficient Federated Edge Learning [4.25234252803357]
Federated Edge Learning (FEEL) は次世代無線ネットワークにおいて有望な分散学習技術である。 FEELは、モデルトレーニングラウンド中に消費される電力により、エネルギー制約された参加機器の寿命を大幅に短縮する可能性がある。本稿では,FEELラウンドにおける計算および通信エネルギー消費を最小化するための新しい手法を提案する。
論文参考訳（メタデータ） (2021-03-30T13:34:40Z)
To Talk or to Work: Flexible Communication Compression for Energy Efficient Federated Learning over Heterogeneous Mobile Edge Devices [78.38046945665538]
巨大なモバイルエッジデバイス上でのフェデレーション学習(FL)は、多数のインテリジェントなモバイルアプリケーションのための新たな地平を開く。 FLは、定期的なグローバル同期と継続的なローカルトレーニングにより、参加するデバイスに膨大な通信と計算負荷を課す。フレキシブルな通信圧縮を可能にする収束保証FLアルゴリズムを開発。
論文参考訳（メタデータ） (2020-12-22T02:54:18Z)
Energy-Based Processes for Exchangeable Data [109.04978766553612]
エネルギーベースモデルを交換可能なデータに拡張するために、エネルギーベースプロセス(EBP)を導入する。 EBPの鍵となる利点は、集合上のより柔軟な分布を、その濃度を制限することなく表現できることである。本研究では,多種多様なタスクにおける最先端性能を実演する電子掲示板の効率的な訓練手順を開発する。
論文参考訳（メタデータ） (2020-03-17T04:26:02Z)
Risk-Aware Energy Scheduling for Edge Computing with Microgrid: A Multi-Agent Deep Reinforcement Learning Approach [82.6692222294594]
マイクログリッドを用いたMECネットワークにおけるリスク対応エネルギースケジューリング問題について検討する。ニューラルネットワークを用いたマルチエージェントディープ強化学習(MADRL)に基づくアドバンテージアクター・クリティック(A3C)アルゴリズムを適用し,その解を導出する。
論文参考訳（メタデータ） (2020-02-21T02:14:38Z)
Multi-Agent Meta-Reinforcement Learning for Self-Powered and Sustainable Edge Computing Systems [87.4519172058185]
エッジコンピューティング機能を有するセルフパワー無線ネットワークの効率的なエネルギー分配機構について検討した。定式化問題を解くために,新しいマルチエージェントメタ強化学習(MAMRL)フレームワークを提案する。実験の結果、提案されたMAMRLモデルは、再生不可能なエネルギー使用量を最大11%削減し、エネルギーコストを22.4%削減できることが示された。
論文参考訳（メタデータ） (2020-02-20T04:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。