論文の概要: Managing power grids through topology actions: A comparative study between advanced rule-based and reinforcement learning agents

• arxiv url: http://arxiv.org/abs/2304.00765v1
• Date: Mon, 3 Apr 2023 07:34:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 16:15:54.786909
• Title: Managing power grids through topology actions: A comparative study between advanced rule-based and reinforcement learning agents
• Title（参考訳）: トポロジー行動による電力グリッドの管理--高度なルールベースと強化学習エージェントの比較研究
• Authors: Malte Lehna and Jan Viebahn and Christoph Scholz and Antoine Marot and Sven Tomforde
• Abstract要約: 電力網の運用は、現在の高潮と再生可能エネルギー生産の増加により、ますます複雑になっている。 強化学習(Reinforcement Learning)は効率的かつ信頼性の高い手法であり,グリッドの自動操作の可能性も高いことが示されている。 本稿では、Binbinchenから提出されたエージェントを分析し、RLとルールベースのアプローチの両方において、エージェントを改善するための新しい戦略を提供する。
• 参考スコア（独自算出の注目度）: 1.8549313085249322
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The operation of electricity grids has become increasingly complex due to the current upheaval and the increase in renewable energy production. As a consequence, active grid management is reaching its limits with conventional approaches. In the context of the Learning to Run a Power Network challenge, it has been shown that Reinforcement Learning (RL) is an efficient and reliable approach with considerable potential for automatic grid operation. In this article, we analyse the submitted agent from Binbinchen and provide novel strategies to improve the agent, both for the RL and the rule-based approach. The main improvement is a N-1 strategy, where we consider topology actions that keep the grid stable, even if one line is disconnected. More, we also propose a topology reversion to the original grid, which proved to be beneficial. The improvements are tested against reference approaches on the challenge test sets and are able to increase the performance of the rule-based agent by 27%. In direct comparison between rule-based and RL agent we find similar performance. However, the RL agent has a clear computational advantage. We also analyse the behaviour in an exemplary case in more detail to provide additional insights. Here, we observe that through the N-1 strategy, the actions of the agents become more diversified.
• Abstract（参考訳）: 電力網の運用は、現在の上昇と再生可能エネルギー生産の増加により、ますます複雑になっている。 その結果、アクティブグリッド管理は従来のアプローチで限界に達している。 パワーネットワークの課題を実行するための学習の文脈において、強化学習(rl)は効率良く信頼性の高いアプローチであり、自動グリッド操作の可能性がかなり高いことが示されている。 本稿では、Binbinchenから提出されたエージェントを分析し、RLとルールベースのアプローチの両方において、エージェントを改善するための新しい戦略を提供する。 主な改善点はN-1戦略であり、1行が切断されてもグリッドを安定に保つトポロジー作用を考える。 さらに、元のグリッドへのトポロジーの回帰も提案するが、これは有益であることが証明された。 改善は、チャレンジテストセットの参照アプローチに対してテストされ、ルールベースのエージェントのパフォーマンスを27%向上することができる。 ルールベースとRLエージェントを直接比較すると、同様の性能が得られる。 しかし、rlエージェントには明確な計算上の利点がある。 また、サンプルケースの振る舞いをより詳細に分析して、さらなる洞察を与えます。 ここでは,n-1戦略を通じて,エージェントの行動がより多様化するのを観察した。

関連論文リスト

• State and Action Factorization in Power Grids [47.65236082304256]
  状態と行動成分の相関関係をデータに基づいて推定するドメインに依存しないアルゴリズムを提案する。 このアルゴリズムはGrid2Opシミュレータで得られた電力グリッドベンチマークで検証される。
  論文  参考訳（メタデータ） (2024-09-03T15:00:58Z)
• Imitation Learning for Intra-Day Power Grid Operation through Topology Actions [0.24578723416255752]
  本研究では、トポロジ的動作による日頭電力グリッド動作における模倣学習の性能について検討する。 我々は、専門家のステートアクションペアに完全接続ニューラルネットワーク(FCNN)をトレーニングし、それを2つの方法で評価する。 パワーシステムエージェントとして、FCNNは専門家エージェントよりもわずかに劣っている。
  論文  参考訳（メタデータ） (2024-07-29T10:34:19Z)
• Hybrid Reinforcement Learning for Optimizing Pump Sustainability in Real-World Water Distribution Networks [55.591662978280894]
  本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。 我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。 進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
  論文  参考訳（メタデータ） (2023-10-13T21:26:16Z)
• Multi-Agent Reinforcement Learning for Power Grid Topology Optimization [45.74830585715129]
  本稿では,拡張行動空間に適した階層型マルチエージェント強化学習(MARL)フレームワークを提案する。 実験結果から, 単エージェントRL法とMARLフレームワークの競合性能が示唆された。 また、下位エージェントに対する異なるRLアルゴリズムと上位エージェントに対する異なるポリシーを比較した。
  論文  参考訳（メタデータ） (2023-10-04T06:37:43Z)
• Reinforcement Learning for Resilient Power Grids [0.23204178451683263]
  従来の送電網は、より頻繁で極端な自然災害の下で時代遅れになっている。 ほとんどの電力グリッドシミュレータとRLインタフェースは、大規模なブラックアウトやネットワークがサブネットワークに分割された場合の電力グリッドのシミュレーションをサポートしない。 本研究では,既存のシミュレータとRLインタフェースであるGrid2Op上に構築された電力グリッドシミュレータを提案し,Grid2Opの動作と観測空間を制限する実験を行った。
  論文  参考訳（メタデータ） (2022-12-08T04:40:14Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Curriculum Based Reinforcement Learning of Grid Topology Controllers to Prevent Thermal Cascading [0.19116784879310028]
  本稿では,電力系統演算子のドメイン知識を強化学習フレームワークに統合する方法について述べる。 環境を改良することにより、報酬チューニングを伴うカリキュラムベースのアプローチをトレーニング手順に組み込む。 複数のシナリオに対する並列トレーニングアプローチは、エージェントをいくつかのシナリオに偏りなくし、グリッド操作の自然変動に対して堅牢にするために使用される。
  論文  参考訳（メタデータ） (2021-12-18T20:32:05Z)
• Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
  ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
  論文  参考訳（メタデータ） (2021-10-18T06:14:28Z)
• Improving Robustness of Reinforcement Learning for Power System Control with Adversarial Training [71.7750435554693]
  電力系統制御のために提案された最先端のRLエージェントが敵攻撃に対して脆弱であることを示す。 具体的には、敵のマルコフ決定プロセスを用いて攻撃方針を学習し、攻撃の有効性を実証する。 本稿では,RLエージェントの攻撃に対する堅牢性を高め,実行不可能な運用上の決定を回避するために,敵の訓練を利用することを提案する。
  論文  参考訳（メタデータ） (2021-10-18T00:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。