論文の概要: Scalable Voltage Control using Structure-Driven Hierarchical Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2102.00077v1
• Date: Fri, 29 Jan 2021 21:30:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-05 00:20:38.253689
• Title: Scalable Voltage Control using Structure-Driven Hierarchical Deep Reinforcement Learning
• Title（参考訳）: 構造駆動階層型深層強化学習によるスケーラブル電圧制御
• Authors: Sayak Mukherjee, Renke Huang, Qiuhua Huang, Thanh Long Vu, Tianzhixi Yin
• Abstract要約: 本稿では,新しい階層型深層強化学習(drl)による電力系統の電圧制御設計を提案する。 本研究では,電力系統の領域分割構造を利用して,大規模グリッドモデルに適用可能な階層型drl設計を提案する。 地域別分散型RLエージェントを訓練し、各エリアの低レベルポリシーを算出し、低レベルポリシーの更新を使用して低レベルエージェントが行う制御アクションを効率的に調整する高レベルDRLエージェントを同時トレーニングします。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a novel hierarchical deep reinforcement learning (DRL) based design for the voltage control of power grids. DRL agents are trained for fast, and adaptive selection of control actions such that the voltage recovery criterion can be met following disturbances. Existing voltage control techniques suffer from the issues of speed of operation, optimal coordination between different locations, and scalability. We exploit the area-wise division structure of the power system to propose a hierarchical DRL design that can be scaled to the larger grid models. We employ an enhanced augmented random search algorithm that is tailored for the voltage control problem in a two-level architecture. We train area-wise decentralized RL agents to compute lower-level policies for the individual areas, and concurrently train a higher-level DRL agent that uses the updates of the lower-level policies to efficiently coordinate the control actions taken by the lower-level agents. Numerical experiments on the IEEE benchmark 39-bus model with 3 areas demonstrate the advantages and various intricacies of the proposed hierarchical approach.
• Abstract（参考訳）: 本稿では,新しい階層型深層強化学習(drl)による電力系統の電圧制御設計を提案する。 DRLエージェントは、障害後の電圧回復基準を満たすように、高速かつ適応的な制御動作の選択のために訓練される。 既存の電圧制御技術は、動作速度、異なる位置間の最適調整、スケーラビリティの問題に悩まされている。 本研究では,電力系統の領域分割構造を利用して,大規模グリッドモデルに適用可能な階層型drl設計を提案する。 本研究では,2段階アーキテクチャにおける電圧制御問題に適した拡張型ランダム探索アルゴリズムを用いる。 我々は、地域的に分散されたRLエージェントを訓練し、各領域の低レベルポリシーを計算し、低レベルポリシーを更新して下層エージェントが行うコントロールアクションを効率的に調整する高レベルDRLエージェントを同時に訓練する。 ieeeベンチマーク39-busモデルにおける3領域の数値実験により,提案手法の利点と複雑さが示された。

関連論文リスト

• Function Approximation for Reinforcement Learning Controller for Energy from Spread Waves [69.9104427437916]
  マルチジェネレータ・ウェーブ・エナジー・コンバータ(WEC)は、スプレッド・ウェーブと呼ばれる異なる方向から来る複数の同時波を処理しなければならない。 これらの複雑な装置は、エネルギー捕獲効率、維持を制限する構造的ストレスの低減、高波に対する積極的な保護という複数の目的を持つコントローラを必要とする。 本稿では,システム力学のシーケンシャルな性質をモデル化する上で,ポリシーと批判ネットワークの異なる機能近似について検討する。
  論文  参考訳（メタデータ） (2024-04-17T02:04:10Z)
• Hierarchical Reinforcement Learning for Power Network Topology Control [22.203574989348773]
  高次元行動空間での学習は、現実世界のシステムに強化学習を適用する上で重要な課題である。 本稿では,RL法による電力ネットワーク制御の可能性について検討する。
  論文  参考訳（メタデータ） (2023-11-03T12:33:00Z)
• Rethinking Decision Transformer via Hierarchical Reinforcement Learning [54.3596066989024]
  決定変換器(Decision Transformer, DT)は、強化学習(RL)における変換器アーキテクチャの最近の進歩を活用する革新的なアルゴリズムである。 本稿では,階層RLのレンズを用いたシーケンシャル意思決定のための汎用シーケンスモデリングフレームワークを提案する。 DTは、高レベルかつ低レベルなポリシーを選択することで、このフレームワークの特別なケースとして現れ、これらの選択の潜在的な失敗について議論する。
  論文  参考訳（メタデータ） (2023-11-01T03:32:13Z)
• Distributed-Training-and-Execution Multi-Agent Reinforcement Learning for Power Control in HetNet [48.96004919910818]
  We propose a multi-agent Deep reinforcement learning (MADRL) based power control scheme for the HetNet。 エージェント間の協調を促進するために,MADRLシステムのためのペナルティベースQラーニング(PQL)アルゴリズムを開発した。 このように、エージェントのポリシーは、他のエージェントによってより容易に学習でき、より効率的なコラボレーションプロセスをもたらす。
  論文  参考訳（メタデータ） (2022-12-15T17:01:56Z)
• Stabilizing Voltage in Power Distribution Networks via Multi-Agent Reinforcement Learning with Transformer [128.19212716007794]
  本稿では,変圧器を用いたマルチエージェント・アクタ・クリティカル・フレームワーク(T-MAAC)を提案する。 さらに、電圧制御タスクに適した新しい補助タスクトレーニングプロセスを採用し、サンプル効率を向上する。
  論文  参考訳（メタデータ） (2022-06-08T07:48:42Z)
• Curriculum Based Reinforcement Learning of Grid Topology Controllers to Prevent Thermal Cascading [0.19116784879310028]
  本稿では,電力系統演算子のドメイン知識を強化学習フレームワークに統合する方法について述べる。 環境を改良することにより、報酬チューニングを伴うカリキュラムベースのアプローチをトレーニング手順に組み込む。 複数のシナリオに対する並列トレーニングアプローチは、エージェントをいくつかのシナリオに偏りなくし、グリッド操作の自然変動に対して堅牢にするために使用される。
  論文  参考訳（メタデータ） (2021-12-18T20:32:05Z)
• Improving Robustness of Reinforcement Learning for Power System Control with Adversarial Training [71.7750435554693]
  電力系統制御のために提案された最先端のRLエージェントが敵攻撃に対して脆弱であることを示す。 具体的には、敵のマルコフ決定プロセスを用いて攻撃方針を学習し、攻撃の有効性を実証する。 本稿では,RLエージェントの攻撃に対する堅牢性を高め,実行不可能な運用上の決定を回避するために,敵の訓練を利用することを提案する。
  論文  参考訳（メタデータ） (2021-10-18T00:50:34Z)
• Learning and Fast Adaptation for Grid Emergency Control via Deep Meta Reinforcement Learning [22.58070790887177]
  電力システムは、より不確実性、より少ない慣性、および操作限界に近い重要な変換を受けています。 システムの信頼性とセキュリティを維持するために、グリッド緊急制御を強化する必要がある。 近年、深層補強学習(DRL)ベースのグリッド制御ソリューションの開発に大きな進歩を遂げています。 既存のDRLベースのソリューションには2つの大きな制限がある: 1) グリッドの動作条件、システムパラメータ、コンテンシーにうまく対応できない; 2) 新しいグリッドの動作条件、システムパラメータ、およびコンテンシーに迅速に適応する能力が欠如し、現実のアプリケーションへの適用性が制限されている。
  論文  参考訳（メタデータ） (2021-01-13T19:45:59Z)
• Transfer Deep Reinforcement Learning-enabled Energy Management Strategy for Hybrid Tracked Vehicle [8.327437591702163]
  本稿では、深部強化学習(DRL)と伝達学習(TL)を組み合わせたハイブリッド電気自動車の適応エネルギー管理戦略を提案する。 退屈なトレーニング時間でDRLの欠陥に対処することを目的としている。 DRLおよびTL対応制御ポリシは、エネルギー効率を向上し、システム性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-07-16T23:39:34Z)
• Distributed Voltage Regulation of Active Distribution System Based on Enhanced Multi-agent Deep Reinforcement Learning [9.7314654861242]
  本稿では,スペクトルクラスタリングと拡張マルチエージェント深部強化学習(MADRL)アルゴリズムに基づくデータ駆動分散電圧制御手法を提案する。 提案手法は,システムパラメータの通信と知識の要求を大幅に低減することができる。 また、不確実性を効果的に処理し、最新のローカル情報に基づいたオンライン協調制御を提供する。
  論文  参考訳（メタデータ） (2020-05-31T15:48:27Z)
• Optimization-driven Deep Reinforcement Learning for Robust Beamforming in IRS-assisted Wireless Communications [54.610318402371185]
  Intelligent Reflecting Surface (IRS)は、マルチアンテナアクセスポイント(AP)から受信機へのダウンリンク情報伝達を支援する有望な技術である。 我々は、APのアクティブビームフォーミングとIRSのパッシブビームフォーミングを共同最適化することで、APの送信電力を最小化する。 過去の経験からビームフォーミング戦略に適応できる深層強化学習(DRL)手法を提案する。
  論文  参考訳（メタデータ） (2020-05-25T01:42:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。