論文の概要: Federated Multi-Agent Deep Reinforcement Learning Approach via Physics-Informed Reward for Multi-Microgrid Energy Management

• arxiv url: http://arxiv.org/abs/2301.00641v1
• Date: Thu, 29 Dec 2022 08:35:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 16:28:38.009959
• Title: Federated Multi-Agent Deep Reinforcement Learning Approach via Physics-Informed Reward for Multi-Microgrid Energy Management
• Title（参考訳）: 物理インフォームド報酬を用いたマルチエージェント深層強化学習のマルチマイクログリッドエネルギー管理への応用
• Authors: Yuanzheng Li, Shangyang He, Yang Li, Yang Shi, Zhigang Zeng
• Abstract要約: 本稿では,物理インフォームド報酬を用いたF-MADRLアルゴリズムを提案する。 このアルゴリズムでは、F-MADRLアルゴリズムをトレーニングするためにフェデレート学習機構を導入し、データのプライバシとセキュリティを確保する。 オークリッジ国立研究所の分散エネルギー制御通信実験室(ORNL-MG)で実験を行った。
• 参考スコア（独自算出の注目度）: 34.18923657108073
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The utilization of large-scale distributed renewable energy promotes the development of the multi-microgrid (MMG), which raises the need of developing an effective energy management method to minimize economic costs and keep self energy-sufficiency. The multi-agent deep reinforcement learning (MADRL) has been widely used for the energy management problem because of its real-time scheduling ability. However, its training requires massive energy operation data of microgrids (MGs), while gathering these data from different MGs would threaten their privacy and data security. Therefore, this paper tackles this practical yet challenging issue by proposing a federated multi-agent deep reinforcement learning (F-MADRL) algorithm via the physics-informed reward. In this algorithm, the federated learning (FL) mechanism is introduced to train the F-MADRL algorithm thus ensures the privacy and the security of data. In addition, a decentralized MMG model is built, and the energy of each participated MG is managed by an agent, which aims to minimize economic costs and keep self energy-sufficiency according to the physics-informed reward. At first, MGs individually execute the self-training based on local energy operation data to train their local agent models. Then, these local models are periodically uploaded to a server and their parameters are aggregated to build a global agent, which will be broadcasted to MGs and replace their local agents. In this way, the experience of each MG agent can be shared and the energy operation data is not explicitly transmitted, thus protecting the privacy and ensuring data security. Finally, experiments are conducted on Oak Ridge national laboratory distributed energy control communication lab microgrid (ORNL-MG) test system, and the comparisons are carried out to verify the effectiveness of introducing the FL mechanism and the outperformance of our proposed F-MADRL.
• Abstract（参考訳）: 大規模分散再生可能エネルギーの利用は、経済コストを最小化し、自己のエネルギー効率を維持するための効率的なエネルギー管理手法を開発する必要性を高めるマルチマイクログリッド(MMG)の開発を促進する。 マルチエージェント深部強化学習(MADRL)はそのリアルタイムスケジューリング能力のためにエネルギー管理問題に広く用いられている。 しかし、そのトレーニングにはマイクログリッド(MG)の大規模なエネルギー運用データが必要だが、異なるMGからこれらのデータを収集すると、プライバシーとデータセキュリティが脅かされる。 そこで本稿では,F-MADRLアルゴリズムを物理インフォームド報酬を用いて提案することで,この問題に対処する。 このアルゴリズムでは、F-MADRLアルゴリズムをトレーニングするためにFL機構を導入し、データのプライバシとセキュリティを確保する。 さらに、分散MMGモデルを構築し、各参加者のMGのエネルギーは、経済的コストを最小限に抑え、物理インフォームド報酬に応じて自己エネルギー効率を維持することを目的としたエージェントによって管理される。 まず、MGはローカルエネルギー操作データに基づいて個別に自己学習を行い、ローカルエージェントモデルを訓練する。 次に、これらのローカルモデルを定期的にサーバにアップロードし、それらのパラメータを集約してグローバルエージェントを構築し、mgsにブロードキャストし、ローカルエージェントを置き換える。 これにより、各MGエージェントの経験を共有でき、エネルギ操作データが明示的に送信されないことにより、プライバシの保護とデータセキュリティの確保が可能になる。 最後に,oak ridge national laboratory distributed energy control communication lab microgrid (ornl-mg) 試験システムを用いて実験を行い,fl機構の導入の有効性と提案するf-madrlのアウトパフォーマンスを検証するために比較を行った。

関連論文リスト

• Collaborative Optimization of Multi-microgrids System with Shared Energy Storage Based on Multi-agent Stochastic Game and Reinforcement Learning [8.511196076836592]
  提案されたMMGシステムフレームワークは、メイングリッドのエネルギー変動を24時間で1746.5kW削減し、テストで16.21%のコスト削減を実現する。 提案アルゴリズムの高速収束速度と優れた最適化性能により,提案アルゴリズムの優位性を検証した。
  論文  参考訳（メタデータ） (2023-06-19T07:55:41Z)
• Multi-Microgrid Collaborative Optimization Scheduling Using an Improved Multi-Agent Soft Actor-Critic Algorithm [8.461537684562776]
  マルチマイクログリッド (MMG) システムは、異なる操作実体に属する複数の再生可能エネルギーマイクログリッドで構成されている。 本稿では,マルチエージェント集中型分散実行フレームワークに基づくMMG協調最適化モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-01T22:44:52Z)
• Distributed Energy Management and Demand Response in Smart Grids: A Multi-Agent Deep Reinforcement Learning Framework [53.97223237572147]
  本稿では、自律制御と再生可能エネルギー資源のスマート電力グリッドシステムへの統合のための多エージェント深層強化学習(DRL)フレームワークを提案する。 特に,提案フレームワークは,住宅利用者に対する需要応答 (DR) と分散エネルギー管理 (DEM) を共同で検討している。
  論文  参考訳（メタデータ） (2022-11-29T01:18:58Z)
• Multi-agent Bayesian Deep Reinforcement Learning for Microgrid Energy Management under Communication Failures [10.099371194251052]
  通信障害時のMGエネルギー管理のためのマルチエージェントベイズ深部強化学習法(BA-DRL)を提案する。 BA-DRL は Nash Deep Q-learning (Nash-DQN) よりも 4.1% と 10.3% 高い報酬率を持つ。
  論文  参考訳（メタデータ） (2021-11-22T03:08:10Z)
• Deep Reinforcement Learning Based Multidimensional Resource Management for Energy Harvesting Cognitive NOMA Communications [64.1076645382049]
  エネルギー収穫(EH)、認知無線(CR)、非直交多重アクセス(NOMA)の組み合わせはエネルギー効率を向上させるための有望な解決策である。 本稿では,決定論的CR-NOMA IoTシステムにおけるスペクトル,エネルギー,時間資源管理について検討する。
  論文  参考訳（メタデータ） (2021-09-17T08:55:48Z)
• Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
  我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。 提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。 シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
  論文  参考訳（メタデータ） (2020-10-06T16:51:09Z)
• Risk-Aware Energy Scheduling for Edge Computing with Microgrid: A Multi-Agent Deep Reinforcement Learning Approach [82.6692222294594]
  マイクログリッドを用いたMECネットワークにおけるリスク対応エネルギースケジューリング問題について検討する。 ニューラルネットワークを用いたマルチエージェントディープ強化学習(MADRL)に基づくアドバンテージアクター・クリティック(A3C)アルゴリズムを適用し,その解を導出する。
  論文  参考訳（メタデータ） (2020-02-21T02:14:38Z)
• Multi-Agent Meta-Reinforcement Learning for Self-Powered and Sustainable Edge Computing Systems [87.4519172058185]
  エッジコンピューティング機能を有するセルフパワー無線ネットワークの効率的なエネルギー分配機構について検討した。 定式化問題を解くために,新しいマルチエージェントメタ強化学習(MAMRL)フレームワークを提案する。 実験の結果、提案されたMAMRLモデルは、再生不可能なエネルギー使用量を最大11%削減し、エネルギーコストを22.4%削減できることが示された。
  論文  参考訳（メタデータ） (2020-02-20T04:58:07Z)
• Dynamic Energy Dispatch Based on Deep Reinforcement Learning in IoT-Driven Smart Isolated Microgrids [8.623472323825556]
  マイクログリッド(MG)は、大きなユーティリティグリッドとは独立して動作可能な小型でローカルな電力グリッドである。 本稿では、IoT駆動型スマートアイソレーションMGのための深部強化学習(DRL)に基づくエネルギーディスパッチに焦点を当てる。 2つの新しいDRLアルゴリズムが提案され、完全観測可能な状態情報とともに、かつ、不要なエネルギー供給ポリシーを導出する。
  論文  参考訳（メタデータ） (2020-02-07T01:44:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。