論文の概要: Energy-Aware Dynamic Neural Inference
- arxiv url: http://arxiv.org/abs/2411.02471v2
- Date: Wed, 06 Nov 2024 21:10:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-08 11:32:01.554328
- Title: Energy-Aware Dynamic Neural Inference
- Title（参考訳）: エネルギーを考慮した動的ニューラル推論
- Authors: Marcello Bullo, Seifallah Jardak, Pietro Carnelli, Deniz Gündüz,
- Abstract要約: エネルギーハーベスターと有限容量エネルギーストレージを備えたオンデバイス適応型推論システムを提案する。
環境エネルギーの速度が増加するにつれて、エネルギー・信頼性を考慮した制御方式は精度を約5%向上させることが示されている。
我々は、信頼性を意識し、認識できないコントローラを理論的に保証する原則的なポリシーを導出する。
- 参考スコア（独自算出の注目度）: 39.04688735618206
- License:
- Abstract: The growing demand for intelligent applications beyond the network edge, coupled with the need for sustainable operation, are driving the seamless integration of deep learning (DL) algorithms into energy-limited, and even energy-harvesting end-devices. However, the stochastic nature of ambient energy sources often results in insufficient harvesting rates, failing to meet the energy requirements for inference and causing significant performance degradation in energy-agnostic systems. To address this problem, we consider an on-device adaptive inference system equipped with an energy-harvester and finite-capacity energy storage. We then allow the device to reduce the run-time execution cost on-demand, by either switching between differently-sized neural networks, referred to as multi-model selection (MMS), or by enabling earlier predictions at intermediate layers, called early exiting (EE). The model to be employed, or the exit point is then dynamically chosen based on the energy storage and harvesting process states. We also study the efficacy of integrating the prediction confidence into the decision-making process. We derive a principled policy with theoretical guarantees for confidence-aware and -agnostic controllers. Moreover, in multi-exit networks, we study the advantages of taking decisions incrementally, exit-by-exit, by designing a lightweight reinforcement learning-based controller. Experimental results show that, as the rate of the ambient energy increases, energy- and confidence-aware control schemes show approximately 5% improvement in accuracy compared to their energy-aware confidence-agnostic counterparts. Incremental approaches achieve even higher accuracy, particularly when the energy storage capacity is limited relative to the energy consumption of the inference model.
- Abstract（参考訳）: ネットワークエッジを越えたインテリジェントなアプリケーションに対する需要の高まりと、持続可能な運用の必要性が相まって、ディープラーニング(DL)アルゴリズムのシームレスな統合を、エネルギー制限、さらにはエネルギー保護のエンドデバイスへと推進している。
しかし、環境エネルギー源の確率的な性質は、しばしば収量率の不足を招き、推論のエネルギー要求を満たすことができず、エネルギーに依存しないシステムにおいて顕著な性能低下を引き起こす。
この問題に対処するために、エネルギーハーベスターと有限容量エネルギーストレージを備えたオンデバイス適応型推論システムについて検討する。
次に、MMS(Multi-model selection)と呼ばれる異なるサイズのニューラルネットワークを切り替えることや、早期終了(EE)と呼ばれる中間層での早期予測を可能にすることにより、ランタイム実行コストをオンデマンドで低減することができる。
使用すべきモデルや出口は、エネルギー貯蔵および回収プロセス状態に基づいて動的に選択される。
また,予測信頼度を意思決定プロセスに統合する効果についても検討した。
我々は、信頼性を意識し、認識できないコントローラを理論的に保証する原則的なポリシーを導出する。
さらに,マルチエクイットネットワークにおいて,軽量強化学習型コントローラの設計により,意思決定を段階的に退避させる利点について検討した。
実験結果から, 環境エネルギーの速度が増加するにつれて, エネルギーと信頼を意識した制御方式は, エネルギーを意識しない制御方式に比べて, 約5%の精度向上を示した。
インクリメンタルアプローチは、特に推論モデルのエネルギー消費に対してエネルギー貯蔵能力が制限されている場合、さらに高い精度を達成する。
関連論文リスト
- Revisiting DNN Training for Intermittently Powered Energy Harvesting Micro Computers [0.6721767679705013]
本研究では,エネルギー制約環境下でのディープニューラルネットワークに適した新しいトレーニング手法を紹介し,評価する。
本稿では,デバイスアーキテクチャとエネルギー可用性の変動性の両方に適応する動的ドロップアウト手法を提案する。
予備的な結果は、この戦略が5%未満の計算量を持つ最先端技術と比較して6～22%の精度向上をもたらすことを示している。
論文 参考訳（メタデータ） (2024-08-25T01:13:00Z) - Federated Learning With Energy Harvesting Devices: An MDP Framework [5.852486435612777]
フェデレートラーニング(FL)では、エッジデバイスがローカルトレーニングを実行し、パラメータサーバと情報を交換する必要がある。
実用FLシステムにおける重要な課題は、バッテリ限定エッジ装置の急激なエネルギー枯渇である。
FLシステムにエネルギー回収技術を適用し, エッジデバイスを連続的に駆動する環境エネルギーを抽出する。
論文 参考訳（メタデータ） (2024-05-17T03:41:40Z) - PolyThrottle: Energy-efficient Neural Network Inference on Edge Devices [10.01838504586422]
ML駆動システムの連続運転は、推論中にかなりのエネルギー消費をもたらす。
本稿では,GPU,メモリ,CPU周波数などのデバイス上のハードウェア要素の構成が,通常の微調整によるNN推論のエネルギー消費に与える影響について検討する。
本稿では,Constrained Bayesian Optimization を用いて,各ハードウェアコンポーネント間の構成をエネルギー保存的に最適化するPolyThrottleを提案する。
論文 参考訳（メタデータ） (2023-10-30T20:19:41Z) - Multiagent Reinforcement Learning with an Attention Mechanism for
Improving Energy Efficiency in LoRa Networks [52.96907334080273]
ネットワーク規模が大きくなるにつれて、パケット衝突によるLoRaネットワークのエネルギー効率は急激に低下する。
マルチエージェント強化学習(MALoRa)に基づく伝送パラメータ割り当てアルゴリズムを提案する。
シミュレーションの結果,MALoRaはベースラインアルゴリズムと比較してシステムEEを著しく改善することがわかった。
論文 参考訳（メタデータ） (2023-09-16T11:37:23Z) - Sustainable Edge Intelligence Through Energy-Aware Early Exiting [0.726437825413781]
EHエッジインテリジェンスシステムにおいて,エネルギー適応型動的早期退避を提案する。
提案手法は, サンプルごとの最適計算量を決定する, エネルギー対応のEEポリシーを導出する。
その結果, エネルギーに依存しない政策と比較して, 精度は25%, サービスレートは35%向上した。
論文 参考訳（メタデータ） (2023-05-23T14:17:44Z) - Distributed Energy Management and Demand Response in Smart Grids: A
Multi-Agent Deep Reinforcement Learning Framework [53.97223237572147]
本稿では、自律制御と再生可能エネルギー資源のスマート電力グリッドシステムへの統合のための多エージェント深層強化学習(DRL)フレームワークを提案する。
特に,提案フレームワークは,住宅利用者に対する需要応答 (DR) と分散エネルギー管理 (DEM) を共同で検討している。
論文 参考訳（メタデータ） (2022-11-29T01:18:58Z) - Deep Reinforcement Learning Based Multidimensional Resource Management
for Energy Harvesting Cognitive NOMA Communications [64.1076645382049]
エネルギー収穫(EH)、認知無線(CR)、非直交多重アクセス(NOMA)の組み合わせはエネルギー効率を向上させるための有望な解決策である。
本稿では,決定論的CR-NOMA IoTシステムにおけるスペクトル,エネルギー,時間資源管理について検討する。
論文 参考訳（メタデータ） (2021-09-17T08:55:48Z) - Risk-Aware Energy Scheduling for Edge Computing with Microgrid: A
Multi-Agent Deep Reinforcement Learning Approach [82.6692222294594]
マイクログリッドを用いたMECネットワークにおけるリスク対応エネルギースケジューリング問題について検討する。
ニューラルネットワークを用いたマルチエージェントディープ強化学習(MADRL)に基づくアドバンテージアクター・クリティック(A3C)アルゴリズムを適用し,その解を導出する。
論文 参考訳（メタデータ） (2020-02-21T02:14:38Z) - Multi-Agent Meta-Reinforcement Learning for Self-Powered and Sustainable
Edge Computing Systems [87.4519172058185]
エッジコンピューティング機能を有するセルフパワー無線ネットワークの効率的なエネルギー分配機構について検討した。
定式化問題を解くために,新しいマルチエージェントメタ強化学習(MAMRL)フレームワークを提案する。
実験の結果、提案されたMAMRLモデルは、再生不可能なエネルギー使用量を最大11%削減し、エネルギーコストを22.4%削減できることが示された。
論文 参考訳（メタデータ） (2020-02-20T04:58:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。