論文の概要: State and Action Factorization in Power Grids

• arxiv url: http://arxiv.org/abs/2409.04467v1
• Date: Tue, 3 Sep 2024 15:00:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 22:45:53.470522
• Title: State and Action Factorization in Power Grids
• Title（参考訳）: 電力系統における状態要因と行動要因
• Authors: Gianvito Losapio, Davide Beretta, Marco Mussi, Alberto Maria Metelli, Marcello Restelli,
• Abstract要約: 状態と行動成分の相関関係をデータに基づいて推定するドメインに依存しないアルゴリズムを提案する。 このアルゴリズムはGrid2Opシミュレータで得られた電力グリッドベンチマークで検証される。
• 参考スコア（独自算出の注目度）: 47.65236082304256
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The increase of renewable energy generation towards the zero-emission target is making the problem of controlling power grids more and more challenging. The recent series of competitions Learning To Run a Power Network (L2RPN) have encouraged the use of Reinforcement Learning (RL) for the assistance of human dispatchers in operating power grids. All the solutions proposed so far severely restrict the action space and are based on a single agent acting on the entire grid or multiple independent agents acting at the substations level. In this work, we propose a domain-agnostic algorithm that estimates correlations between state and action components entirely based on data. Highly correlated state-action pairs are grouped together to create simpler, possibly independent subproblems that can lead to distinct learning processes with less computational and data requirements. The algorithm is validated on a power grid benchmark obtained with the Grid2Op simulator that has been used throughout the aforementioned competitions, showing that our algorithm is in line with domain-expert analysis. Based on these results, we lay a theoretically-grounded foundation for using distributed reinforcement learning in order to improve the existing solutions.
• Abstract（参考訳）: ゼロエミッション目標に向けた再生可能エネルギーの増大は、電力グリッドの制御をますます困難にしている。 近年のL2RPN(Learning To Run a Power Network)コンペティションでは、電力網の運用において人間派遣者を支援するために強化学習(Reinforcement Learning, RL)の使用が奨励されている。 これまでに提案された全ての解は、作用空間を厳しく制限し、グリッド全体に作用する1つのエージェント、またはサブステーションレベルに作用する複数の独立エージェントに基づいている。 本研究では,状態と行動成分の相関関係をデータに基づいて推定するドメインに依存しないアルゴリズムを提案する。 高相関状態-作用対は、計算とデータ要求の少ない個別の学習プロセスに繋がる、より単純で、おそらくは独立したサブプロブレムを生成するためにグループ化される。 このアルゴリズムは、上記コンペを通じて使用されているGrid2Opシミュレータを用いて得られた電力グリッドベンチマークで検証され、本アルゴリズムがドメイン-エキスパート分析に適合していることが示されている。 これらの結果に基づいて,既存のソリューションを改善するために,分散強化学習の理論的基盤を構築した。

関連論文リスト

• Managing power grids through topology actions: A comparative study between advanced rule-based and reinforcement learning agents [1.8549313085249322]
  電力網の運用は、現在の高潮と再生可能エネルギー生産の増加により、ますます複雑になっている。 強化学習(Reinforcement Learning)は効率的かつ信頼性の高い手法であり,グリッドの自動操作の可能性も高いことが示されている。 本稿では、Binbinchenから提出されたエージェントを分析し、RLとルールベースのアプローチの両方において、エージェントを改善するための新しい戦略を提供する。
  論文  参考訳（メタデータ） (2023-04-03T07:34:43Z)
• MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion Control in Real Networks [63.24965775030673]
  そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。 我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。 我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
  論文  参考訳（メタデータ） (2023-02-02T18:27:20Z)
• Distributed-Training-and-Execution Multi-Agent Reinforcement Learning for Power Control in HetNet [48.96004919910818]
  We propose a multi-agent Deep reinforcement learning (MADRL) based power control scheme for the HetNet。 エージェント間の協調を促進するために,MADRLシステムのためのペナルティベースQラーニング(PQL)アルゴリズムを開発した。 このように、エージェントのポリシーは、他のエージェントによってより容易に学習でき、より効率的なコラボレーションプロセスをもたらす。
  論文  参考訳（メタデータ） (2022-12-15T17:01:56Z)
• Reinforcement Learning for Resilient Power Grids [0.23204178451683263]
  従来の送電網は、より頻繁で極端な自然災害の下で時代遅れになっている。 ほとんどの電力グリッドシミュレータとRLインタフェースは、大規模なブラックアウトやネットワークがサブネットワークに分割された場合の電力グリッドのシミュレーションをサポートしない。 本研究では,既存のシミュレータとRLインタフェースであるGrid2Op上に構築された電力グリッドシミュレータを提案し,Grid2Opの動作と観測空間を制限する実験を行った。
  論文  参考訳（メタデータ） (2022-12-08T04:40:14Z)
• Unsupervised Optimal Power Flow Using Graph Neural Networks [172.33624307594158]
  グラフニューラルネットワークを用いて、要求された電力と対応するアロケーションとの間の非線形パラメトリゼーションを学習する。 シミュレーションを通して、この教師なし学習コンテキストにおけるGNNの使用は、標準解法に匹敵するソリューションにつながることを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:30:09Z)
• Curriculum Based Reinforcement Learning of Grid Topology Controllers to Prevent Thermal Cascading [0.19116784879310028]
  本稿では,電力系統演算子のドメイン知識を強化学習フレームワークに統合する方法について述べる。 環境を改良することにより、報酬チューニングを伴うカリキュラムベースのアプローチをトレーニング手順に組み込む。 複数のシナリオに対する並列トレーニングアプローチは、エージェントをいくつかのシナリオに偏りなくし、グリッド操作の自然変動に対して堅牢にするために使用される。
  論文  参考訳（メタデータ） (2021-12-18T20:32:05Z)
• Reinforcement Learning for Datacenter Congestion Control [50.225885814524304]
  渋滞制御アルゴリズムの成功は、レイテンシとネットワーク全体のスループットを劇的に改善する。 今日まで、このような学習ベースのアルゴリズムはこの領域で実用的な可能性を示さなかった。 実世界のデータセンターネットワークの様々な構成に一般化することを目的としたRLに基づくアルゴリズムを考案する。 本稿では,この手法が他のRL手法よりも優れており,トレーニング中に見られなかったシナリオに一般化可能であることを示す。
  論文  参考訳（メタデータ） (2021-02-18T13:49:28Z)
• A Hierarchical Deep Actor-Critic Learning Method for Joint Distribution System State Estimation [1.7205106391379026]
  グリッドエッジにおける顧客のリアルタイム監視は、重要なタスクとなっている。 ほぼリアルタイムなソリューションを実現するために,新しい階層型強化学習支援フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-04T22:38:21Z)
• Resource Allocation via Model-Free Deep Learning in Free Space Optical Communications [119.81868223344173]
  本稿では,自由空間光学(FSO)通信におけるチャネルフェージング効果の緩和のための資源配分の一般的な問題について検討する。 本フレームワークでは,FSO資源割り当て問題を解決する2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。