論文の概要: Time-Varying Constraint-Aware Reinforcement Learning for Energy Storage Control
- arxiv url: http://arxiv.org/abs/2405.10536v1
- Date: Fri, 17 May 2024 04:28:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-20 17:02:02.177609
- Title: Time-Varying Constraint-Aware Reinforcement Learning for Energy Storage Control
- Title（参考訳）: エネルギー貯蔵制御のための時間変化制約を考慮した強化学習
- Authors: Jaeik Jeong, Tai-Yeon Ku, Wan-Ki Park,
- Abstract要約: エネルギー貯蔵装置は、より安定的で持続可能な電力供給を確保することで、気候変動を緩和するのに役立つ。
このようなエネルギー貯蔵の有効性を最大化するためには、各期間の適切な充電量及び排出量を決定することが重要である。
本稿では,時間変化可能な帯電帯電範囲を考慮した継続的強化学習手法を提案する。
- 参考スコア（独自算出の注目度）: 0.7646713951724011
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Energy storage devices, such as batteries, thermal energy storages, and hydrogen systems, can help mitigate climate change by ensuring a more stable and sustainable power supply. To maximize the effectiveness of such energy storage, determining the appropriate charging and discharging amounts for each time period is crucial. Reinforcement learning is preferred over traditional optimization for the control of energy storage due to its ability to adapt to dynamic and complex environments. However, the continuous nature of charging and discharging levels in energy storage poses limitations for discrete reinforcement learning, and time-varying feasible charge-discharge range based on state of charge (SoC) variability also limits the conventional continuous reinforcement learning. In this paper, we propose a continuous reinforcement learning approach that takes into account the time-varying feasible charge-discharge range. An additional objective function was introduced for learning the feasible action range for each time period, supplementing the objectives of training the actor for policy learning and the critic for value learning. This actively promotes the utilization of energy storage by preventing them from getting stuck in suboptimal states, such as continuous full charging or discharging. This is achieved through the enforcement of the charging and discharging levels into the feasible action range. The experimental results demonstrated that the proposed method further maximized the effectiveness of energy storage by actively enhancing its utilization.
- Abstract（参考訳）: 電池、熱エネルギー貯蔵装置、水素システムなどのエネルギー貯蔵装置は、より安定で持続可能な電力供給を確保することで、気候変動を緩和するのに役立つ。
このようなエネルギー貯蔵の有効性を最大化するためには、各期間の適切な充電量及び排出量を決定することが重要である。
強化学習は、動的で複雑な環境に適応できるため、エネルギー貯蔵の制御において従来の最適化よりも好まれる。
しかし、エネルギー貯蔵における充電および排出の継続的な性質は、離散的な強化学習の限界を生じさせ、また、充電状態(SoC)の変動に基づく時間変化可能な電荷放出範囲も従来の連続強化学習を制限している。
本稿では,時間変化可能な帯電帯電範囲を考慮した継続的強化学習手法を提案する。
政策学習にアクターを訓練する目的と価値学習に批判する目的を補足し、各期間に実行可能な行動範囲を学習するための追加の目的関数を導入した。
これにより、連続フル充電や放電など、最適以下の状態に収まるのを防ぎ、エネルギー貯蔵の利用を積極的に促進する。
これは、充電と排出のレベルを実行可能なアクション範囲に強制することで達成される。
実験により,提案手法は有効利用を活発に進めることで,エネルギー貯蔵の有効性をさらに最大化することを示した。
関連論文リスト
- Energy-Aware Dynamic Neural Inference [39.04688735618206]
エネルギーハーベスターと有限容量エネルギーストレージを備えたオンデバイス適応型推論システムを提案する。
環境エネルギーの速度が増加するにつれて、エネルギー・信頼性を考慮した制御方式は精度を約5%向上させることが示されている。
我々は、信頼性を意識し、認識できないコントローラを理論的に保証する原則的なポリシーを導出する。
論文 参考訳（メタデータ） (2024-11-04T16:51:22Z) - Reinforcement Learning for Sustainable Energy: A Survey [0.9423257767158634]
持続可能性に関する課題、強化学習問題としてモデル化する方法、文献に現在どのような解決策が存在しているのかをリストアップする。
我々は,多エージェント,オフライン,安全強化学習など,持続可能性を通じて出現する総合的な強化学習テーマを同定する。
論文 参考訳（メタデータ） (2024-07-26T08:37:14Z) - Multi-market Energy Optimization with Renewables via Reinforcement
Learning [1.0878040851638]
本稿では,再生可能エネルギーと貯蔵量を組み合わせた発電プラントの運転を最適化するための深層強化学習フレームワークを提案する。
このフレームワークは、ストレージデバイスによる時間結合、再生可能エネルギー生成の不確実性、エネルギー価格、非線形ストレージモデルなどの複雑さを扱う。
複雑なストレージモデルを統合するためにRLを使用し、凸と微分可能なコンポーネントモデルを必要とする最適化ベースのメソッドの制限を克服する。
論文 参考訳（メタデータ） (2023-06-13T21:35:24Z) - Resilient Constrained Learning [94.27081585149836]
本稿では,学習課題を同時に解決しながら,要求に適応する制約付き学習手法を提案する。
我々はこの手法を、その操作を変更することで破壊に適応する生態システムを記述する用語に因んで、レジリエントな制約付き学習と呼ぶ。
論文 参考訳（メタデータ） (2023-06-04T18:14:18Z) - Sustainable Edge Intelligence Through Energy-Aware Early Exiting [0.726437825413781]
EHエッジインテリジェンスシステムにおいて,エネルギー適応型動的早期退避を提案する。
提案手法は, サンプルごとの最適計算量を決定する, エネルギー対応のEEポリシーを導出する。
その結果, エネルギーに依存しない政策と比較して, 精度は25%, サービスレートは35%向上した。
論文 参考訳（メタデータ） (2023-05-23T14:17:44Z) - Sustainable AIGC Workload Scheduling of Geo-Distributed Data Centers: A
Multi-Agent Reinforcement Learning Approach [48.18355658448509]
生成的人工知能の最近の進歩は、機械学習トレーニングの需要が急増し、エネルギー消費の大幅な増加によるコスト負担と環境問題を引き起こしている。
地理的に分散したクラウドデータセンタ間でのトレーニングジョブのスケジューリングは、安価で低炭素エネルギーのコンピューティング能力の使用を最適化する機会を浮き彫りにする。
本研究では,実生活におけるワークロードパターン,エネルギー価格,炭素強度を組み込んだクラウドシステムと対話することで,マルチエージェント強化学習とアクタクリティカルな手法に基づく最適協調スケジューリング戦略の学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-04-17T02:12:30Z) - Optimal Planning of Hybrid Energy Storage Systems using Curtailed
Renewable Energy through Deep Reinforcement Learning [0.0]
エネルギー貯蔵システム(ESS)を計画するためのポリシーに基づくアルゴリズムを用いた高度な深層強化学習手法を提案する。
定量的性能比較の結果、DRLエージェントはシナリオベース最適化(SO)アルゴリズムよりも優れていた。
その結果、DRLエージェントは人間の専門家が行うように学習し、提案手法の信頼性が示唆された。
論文 参考訳（メタデータ） (2022-12-12T02:24:50Z) - Distributed Energy Management and Demand Response in Smart Grids: A
Multi-Agent Deep Reinforcement Learning Framework [53.97223237572147]
本稿では、自律制御と再生可能エネルギー資源のスマート電力グリッドシステムへの統合のための多エージェント深層強化学習(DRL)フレームワークを提案する。
特に,提案フレームワークは,住宅利用者に対する需要応答 (DR) と分散エネルギー管理 (DEM) を共同で検討している。
論文 参考訳（メタデータ） (2022-11-29T01:18:58Z) - Goal-Conditioned Q-Learning as Knowledge Distillation [136.79415677706612]
目標条件設定における非政治強化学習と知識蒸留との関連について検討する。
これは,目標の空間が高次元である場合に,目標条件付き非政治強化学習の性能を向上させることを実証的に示す。
また,複数のスパース目標を同時に達成した場合に,この手法を効果的に学習できることを示す。
論文 参考訳（メタデータ） (2022-08-28T22:01:10Z) - Enforcing Policy Feasibility Constraints through Differentiable
Projection for Energy Optimization [57.88118988775461]
本稿では,ニューラルポリシー内での凸操作制約を強制するために,PROF(Projected Feasibility)を提案する。
エネルギー効率の高い建築操作とインバータ制御の2つの応用についてPROFを実証する。
論文 参考訳（メタデータ） (2021-05-19T01:58:10Z) - Data-driven control of micro-climate in buildings: an event-triggered
reinforcement learning approach [56.22460188003505]
半マルコフ決定過程に基づく微小気候制御問題を定式化する。
建物内の微小気候のイベントトリガー制御のための2つの学習アルゴリズムを提案する。
スマートなサーモスタットを設計することで,提案手法の有効性を示す。
論文 参考訳（メタデータ） (2020-01-28T18:20:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。