論文の概要: A Scalable Network-Aware Multi-Agent Reinforcement Learning Framework
for Decentralized Inverter-based Voltage Control
- arxiv url: http://arxiv.org/abs/2312.04371v1
- Date: Thu, 7 Dec 2023 15:42:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 14:33:33.647660
- Title: A Scalable Network-Aware Multi-Agent Reinforcement Learning Framework
for Decentralized Inverter-based Voltage Control
- Title(参考訳): 分散インバータ型電圧制御のためのスケーラブルネットワークアウェアマルチエージェント強化学習フレームワーク
- Authors: Han Xu, Jialin Zheng, Guannan Qu
- Abstract要約: 本稿では,分散型世代(DG)の増加に伴う電力グリッドの分散電圧制御に関する課題に対処する。
従来のモデルベース電圧制御法は、これらのDGの急激なエネルギー変動と不確実性に苦慮している。
本稿では,ネットワーク構造を利用したスケーラブルなネットワーク認識(SNA)フレームワークを提案する。
- 参考スコア(独自算出の注目度): 9.437235548820505
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper addresses the challenges associated with decentralized voltage
control in power grids due to an increase in distributed generations (DGs).
Traditional model-based voltage control methods struggle with the rapid energy
fluctuations and uncertainties of these DGs. While multi-agent reinforcement
learning (MARL) has shown potential for decentralized secondary control,
scalability issues arise when dealing with a large number of DGs. This problem
lies in the dominant centralized training and decentralized execution (CTDE)
framework, where the critics take global observations and actions. To overcome
these challenges, we propose a scalable network-aware (SNA) framework that
leverages network structure to truncate the input to the critic's Q-function,
thereby improving scalability and reducing communication costs during training.
Further, the SNA framework is theoretically grounded with provable
approximation guarantee, and it can seamlessly integrate with multiple
multi-agent actor-critic algorithms. The proposed SNA framework is successfully
demonstrated in a system with 114 DGs, providing a promising solution for
decentralized voltage control in increasingly complex power grid systems.
- Abstract(参考訳): 本稿では,分散世代(DG)の増加に伴う電力グリッドの分散電圧制御に関する課題に対処する。
従来のモデルベース電圧制御法は、これらのDGの急激なエネルギー変動と不確実性に対処する。
マルチエージェント強化学習(MARL)は分散二次制御の可能性を示しているが、多数のDGを扱う際にスケーラビリティの問題が発生する。
この問題は、批判者がグローバルな観察と行動をとる、支配的な集中的なトレーニングと分散実行(CTDE)フレームワークにある。
これらの課題を克服するために,ネットワーク構造を利用したスケーラブルなネットワーク認識(SNA)フレームワークを提案する。
さらに、SNAフレームワークには証明可能な近似保証が組み込まれており、複数のマルチエージェントアクター批判アルゴリズムとシームレスに統合することができる。
提案するsnaフレームワークは、114 dgsのシステムで実証され、ますます複雑な電力グリッドシステムにおける分散電圧制御に有望なソリューションを提供する。
関連論文リスト
- Distributed Energy Management and Demand Response in Smart Grids: A
Multi-Agent Deep Reinforcement Learning Framework [53.97223237572147]
本稿では、自律制御と再生可能エネルギー資源のスマート電力グリッドシステムへの統合のための多エージェント深層強化学習(DRL)フレームワークを提案する。
特に,提案フレームワークは,住宅利用者に対する需要応答 (DR) と分散エネルギー管理 (DEM) を共同で検討している。
論文 参考訳(メタデータ) (2022-11-29T01:18:58Z) - Stabilizing Voltage in Power Distribution Networks via Multi-Agent
Reinforcement Learning with Transformer [128.19212716007794]
本稿では,変圧器を用いたマルチエージェント・アクタ・クリティカル・フレームワーク(T-MAAC)を提案する。
さらに、電圧制御タスクに適した新しい補助タスクトレーニングプロセスを採用し、サンプル効率を向上する。
論文 参考訳(メタデータ) (2022-06-08T07:48:42Z) - Scalable Voltage Control using Structure-Driven Hierarchical Deep
Reinforcement Learning [0.0]
本稿では,新しい階層型深層強化学習(drl)による電力系統の電圧制御設計を提案する。
本研究では,電力系統の領域分割構造を利用して,大規模グリッドモデルに適用可能な階層型drl設計を提案する。
地域別分散型RLエージェントを訓練し、各エリアの低レベルポリシーを算出し、低レベルポリシーの更新を使用して低レベルエージェントが行う制御アクションを効率的に調整する高レベルDRLエージェントを同時トレーニングします。
論文 参考訳(メタデータ) (2021-01-29T21:30:59Z) - Decentralized Control with Graph Neural Networks [147.84766857793247]
分散コントローラを学習するグラフニューラルネットワーク(GNN)を用いた新しいフレームワークを提案する。
GNNは、自然分散アーキテクチャであり、優れたスケーラビリティと転送性を示すため、タスクに適している。
分散コントローラの学習におけるGNNの可能性を説明するために、群れとマルチエージェントパス計画の問題を検討する。
論文 参考訳(メタデータ) (2020-12-29T18:59:14Z) - Enforcing robust control guarantees within neural network policies [76.00287474159973]
本稿では、ニューラルネットワークによってパラメータ化され、ロバスト制御と同じ証明可能なロバスト性基準を適用した、一般的な非線形制御ポリシークラスを提案する。
提案手法は,複数の領域において有効であり,既存のロバスト制御法よりも平均ケース性能が向上し,(非ロバスト)深部RL法よりも最悪のケース安定性が向上した。
論文 参考訳(メタデータ) (2020-11-16T17:14:59Z) - Lyapunov-Based Reinforcement Learning for Decentralized Multi-Agent
Control [3.3788926259119645]
分散マルチエージェント制御では、システムは未知あるいは非常に不確実なダイナミクスで複雑である。
深層強化学習(DRL)は、システムダイナミクスを知らずに、データからコントローラや政治を学ぶことを約束している。
既存のマルチエージェント強化学習(MARL)アルゴリズムは、マルチエージェントシステムの閉ループ安定性を保証することができない。
安定保証付き分散マルチエージェント制御のための新しいMARLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-09-20T06:11:42Z) - F2A2: Flexible Fully-decentralized Approximate Actor-critic for
Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。
本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。
当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
論文 参考訳(メタデータ) (2020-04-17T14:56:29Z) - Graph Neural Networks for Decentralized Controllers [171.6642679604005]
自律エージェントで構成される動的システムは、ロボット工学、スマートグリッド、スマートシティなど、多くの関連する問題に現れる。
最適な集中型コントローラは容易に利用できるが、スケーラビリティと実用的な実装の面で制限に直面している。
グラフニューラルネットワーク(GNN)を用いて,データから分散制御系を学習するフレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-23T13:51:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。