論文の概要: Design and Comparison of Reward Functions in Reinforcement Learning for
Energy Management of Sensor Nodes
- arxiv url: http://arxiv.org/abs/2106.01114v1
- Date: Wed, 2 Jun 2021 12:23:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-03 23:43:12.377938
- Title: Design and Comparison of Reward Functions in Reinforcement Learning for
Energy Management of Sensor Nodes
- Title（参考訳）: センサノードのエネルギー管理のための強化学習における逆関数の設計と比較
- Authors: Yohann Rioual (1), Yannick Le Moullec (2), Johann Laurent (1), Muhidul
Islam Khan (2) and Jean-Philippe Diguet (3) ((1) Lab-STICC, University
Bretagne Sud, (2) Thomas Johann Seebeck Department of Electronics, Tallinn
University of Technology, (3) IRL CNRS CROSSING)
- Abstract要約: IoT(Internet-of-Things)パラダイムの最近の進歩により、リモート監視への関心が高まっている。
センサノードと呼ばれる小さなデバイスを使って、環境からデータを収集して処理できる新しいアプリケーションが登場した。
バッテリー技術は、これらの増大するニーズに対応するのに十分な速さで改善されていない。
従来のエネルギー源を補完するために、小型のエネルギー収穫装置が出現している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Interest in remote monitoring has grown thanks to recent advancements in
Internet-of-Things (IoT) paradigms. New applications have emerged, using small
devices called sensor nodes capable of collecting data from the environment and
processing it. However, more and more data are processed and transmitted with
longer operational periods. At the same, the battery technologies have not
improved fast enough to cope with these increasing needs. This makes the energy
consumption issue increasingly challenging and thus, miniaturized energy
harvesting devices have emerged to complement traditional energy sources.
Nevertheless, the harvested energy fluctuates significantly during the node
operation, increasing uncertainty in actually available energy resources.
Recently, approaches in energy management have been developed, in particular
using reinforcement learning approaches. However, in reinforcement learning,
the algorithm's performance relies greatly on the reward function. In this
paper, we present two contributions. First, we explore five different reward
functions to identify the most suitable variables to use in such functions to
obtain the desired behaviour. Experiments were conducted using the Q-learning
algorithm to adjust the energy consumption depending on the energy harvested.
Results with the five reward functions illustrate how the choice thereof
impacts the energy consumption of the node. Secondly, we propose two additional
reward functions able to find the compromise between energy consumption and a
node performance using a non-fixed balancing parameter. Our simulation results
show that the proposed reward functions adjust the node's performance depending
on the battery level and reduce the learning time.
- Abstract（参考訳）: IoT(Internet-of-Things)パラダイムの最近の進歩により、リモート監視への関心が高まっている。
センサノードと呼ばれる小さなデバイスを使って、環境からデータを収集して処理できる新しいアプリケーションが登場した。
しかし、より多くのデータが処理され、より長い運用期間で送信される。
同時に、バッテリー技術は、こうした需要の増加に対応するのに十分な速度で改善されていない。
これによりエネルギー消費問題はますます難しくなり、従来のエネルギー源を補完する小型のエネルギー収穫装置が出現した。
それでも、収穫されたエネルギーはノード操作中に著しく変動し、実際に利用可能なエネルギー資源の不確実性が増大する。
近年,特に強化学習を用いたエネルギー管理手法が開発されている。
しかし、強化学習では、アルゴリズムの性能は報酬関数に大きく依存する。
本稿では2つの貢献について述べる。
まず、5つの異なる報酬関数を探索し、そのような関数で使用する最も適切な変数を特定し、望ましい振る舞いを得る。
q-learningアルゴリズムを用いて, 収穫エネルギーに応じてエネルギー消費量を調整する実験を行った。
5つの報酬関数による結果は、その選択がノードのエネルギー消費に与える影響を示す。
次に,非固定型バランシングパラメータを用いて,エネルギー消費とノード性能の妥協を見出すことのできる2つの報酬関数を提案する。
シミュレーションの結果,提案した報奨関数は,バッテリレベルに応じてノードの性能を調整し,学習時間を短縮することがわかった。
関連論文リスト
- Energy-Aware Dynamic Neural Inference [39.04688735618206]
エネルギーハーベスターと有限容量エネルギーストレージを備えたオンデバイス適応型推論システムを提案する。
環境エネルギーの速度が増加するにつれて、エネルギー・信頼性を考慮した制御方式は精度を約5%向上させることが示されている。
我々は、信頼性を意識し、認識できないコントローラを理論的に保証する原則的なポリシーを導出する。
論文 参考訳（メタデータ） (2024-11-04T16:51:22Z) - Learning Iterative Reasoning through Energy Diffusion [90.24765095498392]
我々は,エネルギー拡散による反復的推論(IRED)を紹介した。
IREDは入力条件と所望の出力の間の制約を表現するためにエネルギー関数を学ぶ。
IREDは、連続空間推論、離散空間推論、計画タスクにおいて既存の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-06-17T03:36:47Z) - PolyThrottle: Energy-efficient Neural Network Inference on Edge Devices [10.01838504586422]
ML駆動システムの連続運転は、推論中にかなりのエネルギー消費をもたらす。
本稿では,GPU,メモリ,CPU周波数などのデバイス上のハードウェア要素の構成が,通常の微調整によるNN推論のエネルギー消費に与える影響について検討する。
本稿では,Constrained Bayesian Optimization を用いて,各ハードウェアコンポーネント間の構成をエネルギー保存的に最適化するPolyThrottleを提案する。
論文 参考訳（メタデータ） (2023-10-30T20:19:41Z) - Unveiling Energy Efficiency in Deep Learning: Measurement, Prediction, and Scoring across Edge Devices [8.140572894424208]
我々はエネルギー測定、予測、効率評価を含む3倍の研究を行う。
まず、デバイス上での深層学習のエネルギー消費特性を明らかにするための、第1級の詳細な測定結果を示す。
第2に、カーネルレベルのエネルギーデータセットに基づいて、エッジデバイスのための最初のカーネルレベルのエネルギー予測器を設計、実装する。
論文 参考訳（メタデータ） (2023-10-19T23:55:00Z) - Enhancing Energy-Awareness in Deep Learning through Fine-Grained Energy
Measurement [11.37120215795946]
本稿では,詳細なディープラーニングエネルギー消費測定のためのフレームワークであるFECoM(Fine-fine Energy Consumption Meter)を紹介する。
FECoMは、静的計測を用いて、計算負荷安定性や温度など様々な要因を考慮し、エネルギー消費をきめ細かいレベルで測定する課題に対処する。
論文 参考訳（メタデータ） (2023-08-23T17:32:06Z) - Precise Energy Consumption Measurements of Heterogeneous Artificial
Intelligence Workloads [0.534434568021034]
本稿では,異なるタイプの計算ノード上でのディープラーニングモデルの典型的な2つの応用のエネルギー消費の測定を行う。
我々のアプローチの1つの利点は、スーパーコンピュータの全ユーザーがエネルギー消費に関する情報を利用できることである。
論文 参考訳（メタデータ） (2022-12-03T21:40:55Z) - Energy-based Latent Aligner for Incremental Learning [83.0135278697976]
ディープラーニングモデルは、新しいタスクを漸進的に学習しながら、以前の知識を忘れる傾向があります。
この振る舞いは、新しいタスクに最適化されたパラメータ更新が、古いタスクに適したアップデートとうまく一致しない可能性があるため現れます。
ELI: インクリメンタルラーニングのためのエネルギーベースラテントアリグナーを提案する。
論文 参考訳（メタデータ） (2022-03-28T17:57:25Z) - Deep Reinforcement Learning Based Multidimensional Resource Management
for Energy Harvesting Cognitive NOMA Communications [64.1076645382049]
エネルギー収穫(EH)、認知無線(CR)、非直交多重アクセス(NOMA)の組み合わせはエネルギー効率を向上させるための有望な解決策である。
本稿では,決定論的CR-NOMA IoTシステムにおけるスペクトル,エネルギー,時間資源管理について検討する。
論文 参考訳（メタデータ） (2021-09-17T08:55:48Z) - Compute and Energy Consumption Trends in Deep Learning Inference [67.32875669386488]
コンピュータビジョンと自然言語処理の分野における関連モデルについて検討する。
継続的な性能向上のために、これまで予想されていたよりもエネルギー消費の軟化が見られた。
論文 参考訳（メタデータ） (2021-09-12T09:40:18Z) - To Talk or to Work: Flexible Communication Compression for Energy
Efficient Federated Learning over Heterogeneous Mobile Edge Devices [78.38046945665538]
巨大なモバイルエッジデバイス上でのフェデレーション学習(FL)は、多数のインテリジェントなモバイルアプリケーションのための新たな地平を開く。
FLは、定期的なグローバル同期と継続的なローカルトレーニングにより、参加するデバイスに膨大な通信と計算負荷を課す。
フレキシブルな通信圧縮を可能にする収束保証FLアルゴリズムを開発。
論文 参考訳（メタデータ） (2020-12-22T02:54:18Z) - Energy Aware Deep Reinforcement Learning Scheduling for Sensors
Correlated in Time and Space [62.39318039798564]
相関情報を利用するスケジューリング機構を提案する。
提案したメカニズムは、センサが更新を送信する頻度を決定することができる。
我々は,センサの寿命を大幅に延長できることを示した。
論文 参考訳（メタデータ） (2020-11-19T09:53:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。