論文の概要: RL2Grid: Benchmarking Reinforcement Learning in Power Grid Operations

• arxiv url: http://arxiv.org/abs/2503.23101v1
• Date: Sat, 29 Mar 2025 14:39:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:38:04.898806
• Title: RL2Grid: Benchmarking Reinforcement Learning in Power Grid Operations
• Title（参考訳）: RL2Grid: 電力グリッド運用におけるベンチマーク強化学習
• Authors: Enrico Marchesini, Benjamin Donnot, Constance Crozier, Ian Dytham, Christian Merz, Lars Schewe, Nico Westerbeck, Cathy Wu, Antoine Marot, Priya L. Donti,
• Abstract要約: 本稿では,電力系統オペレーターと協調してグリッド制御の高速化を図るベンチマークRL2Gridを提案する。 RTE Franceが開発したパワーシミュレーションフレームワーク上に構築されたRL2Gridは、タスク、状態と行動空間、報酬構造を標準化する。 我々は、RL2Gridで表されるグリッド制御タスクの一般的なRLベースラインをベンチマークし、基準性能指標を確立する。
• 参考スコア（独自算出の注目度）: 9.68407085698167
• License:
• Abstract: Reinforcement learning (RL) can transform power grid operations by providing adaptive and scalable controllers essential for grid decarbonization. However, existing methods struggle with the complex dynamics, aleatoric uncertainty, long-horizon goals, and hard physical constraints that occur in real-world systems. This paper presents RL2Grid, a benchmark designed in collaboration with power system operators to accelerate progress in grid control and foster RL maturity. Built on a power simulation framework developed by RTE France, RL2Grid standardizes tasks, state and action spaces, and reward structures within a unified interface for a systematic evaluation and comparison of RL approaches. Moreover, we integrate real control heuristics and safety constraints informed by the operators' expertise to ensure RL2Grid aligns with grid operation requirements. We benchmark popular RL baselines on the grid control tasks represented within RL2Grid, establishing reference performance metrics. Our results and discussion highlight the challenges that power grids pose for RL methods, emphasizing the need for novel algorithms capable of handling real-world physical systems.
• Abstract（参考訳）: 強化学習(RL)は、グリッド脱炭に不可欠な適応的でスケーラブルなコントローラを提供することで、電力グリッド操作を変換することができる。 しかし、既存の手法は、現実のシステムで発生する複雑な力学、アレタリック不確実性、長期的目標、厳しい物理的制約に苦しむ。 本稿では,グリッド制御の進歩を加速し,RLの成熟を促進させるために,電力系統オペレーターと協調して設計されたベンチマークRL2Gridを提案する。 RTE Franceによって開発されたパワーシミュレーションフレームワーク上に構築されたRL2Gridは、RLアプローチの体系的評価と比較のために、統一インターフェース内でタスク、状態、行動空間、報酬構造を標準化する。 さらに,RL2Gridがグリッド操作要求に適合することを保証するために,オペレータの専門知識から得られる実際の制御ヒューリスティックと安全性の制約を統合する。 我々は、RL2Gridで表されるグリッド制御タスクの一般的なRLベースラインをベンチマークし、基準性能指標を確立する。 本稿では,実世界の物理システムを扱える新しいアルゴリズムの必要性を強調し,電力網がRL法にもたらす課題について考察した。

関連論文リスト

• Unsupervised-to-Online Reinforcement Learning [59.910638327123394]
  Unsupervised-to-online RL (U2O RL) は、ドメイン固有の教師なしオフラインRLを非教師なしオフラインRLに置き換える。 U2O RLは、複数の下流タスクのために訓練済みのモデルを再利用できるだけでなく、より良い表現も学べる。 U2O RLは、従来のオフライン-オフラインのRLアプローチにマッチしたり、さらに性能が優れていることを実証的に実証する。
  論文  参考訳（メタデータ） (2024-08-27T05:23:45Z)
• RL-GPT: Integrating Reinforcement Learning and Code-as-policy [82.1804241891039]
  本稿では,低速エージェントと高速エージェントからなる2レベル階層型フレームワークRL-GPTを提案する。 遅いエージェントはコーディングに適したアクションを分析し、速いエージェントはコーディングタスクを実行する。 この分解は、各エージェントが特定のタスクに効果的に集中し、パイプライン内で非常に効率的なことを証明します。
  論文  参考訳（メタデータ） (2024-02-29T16:07:22Z)
• Learning to Sail Dynamic Networks: The MARLIN Reinforcement Learning Framework for Congestion Control in Tactical Environments [53.08686495706487]
  本稿では, 正確な並列化可能なエミュレーション環境を利用して, 戦術ネットワークの環境を再現するRLフレームワークを提案する。 衛星通信(SATCOM)とUHFワイドバンド(UHF)の無線リンク間のボトルネックリンク遷移を再現した条件下で、MARLINエージェントを訓練することにより、我々のRL学習フレームワークを評価する。
  論文  参考訳（メタデータ） (2023-06-27T16:15:15Z)
• On Transforming Reinforcement Learning by Transformer: The Development Trajectory [97.79247023389445]
  Transformerは元々自然言語処理用に開発されたもので、コンピュータビジョンでも大きな成功を収めている。 既存の開発をアーキテクチャ拡張と軌道最適化の2つのカテゴリに分類する。 ロボット操作,テキストベースのゲーム,ナビゲーション,自律運転におけるTRLの主な応用について検討する。
  論文  参考訳（メタデータ） (2022-12-29T03:15:59Z)
• Reinforcement Learning for Resilient Power Grids [0.23204178451683263]
  従来の送電網は、より頻繁で極端な自然災害の下で時代遅れになっている。 ほとんどの電力グリッドシミュレータとRLインタフェースは、大規模なブラックアウトやネットワークがサブネットワークに分割された場合の電力グリッドのシミュレーションをサポートしない。 本研究では,既存のシミュレータとRLインタフェースであるGrid2Op上に構築された電力グリッドシミュレータを提案し,Grid2Opの動作と観測空間を制限する実験を行った。
  論文  参考訳（メタデータ） (2022-12-08T04:40:14Z)
• Curriculum Based Reinforcement Learning of Grid Topology Controllers to Prevent Thermal Cascading [0.19116784879310028]
  本稿では,電力系統演算子のドメイン知識を強化学習フレームワークに統合する方法について述べる。 環境を改良することにより、報酬チューニングを伴うカリキュラムベースのアプローチをトレーニング手順に組み込む。 複数のシナリオに対する並列トレーニングアプローチは、エージェントをいくつかのシナリオに偏りなくし、グリッド操作の自然変動に対して堅牢にするために使用される。
  論文  参考訳（メタデータ） (2021-12-18T20:32:05Z)
• URLB: Unsupervised Reinforcement Learning Benchmark [82.36060735454647]
  教師なし強化学習ベンチマーク(URLB)を紹介する。 URLBは2つのフェーズで構成されている。 評価のために3つのドメインから12の連続制御タスクを提供し、8つの主要な教師なしRLメソッドに対してオープンソースコードを提供する。
  論文  参考訳（メタデータ） (2021-10-28T15:07:01Z)
• Improving Robustness of Reinforcement Learning for Power System Control with Adversarial Training [71.7750435554693]
  電力系統制御のために提案された最先端のRLエージェントが敵攻撃に対して脆弱であることを示す。 具体的には、敵のマルコフ決定プロセスを用いて攻撃方針を学習し、攻撃の有効性を実証する。 本稿では,RLエージェントの攻撃に対する堅牢性を高め,実行不可能な運用上の決定を回避するために,敵の訓練を利用することを提案する。
  論文  参考訳（メタデータ） (2021-10-18T00:50:34Z)
• Scalable Voltage Control using Structure-Driven Hierarchical Deep Reinforcement Learning [0.0]
  本稿では,新しい階層型深層強化学習(drl)による電力系統の電圧制御設計を提案する。 本研究では,電力系統の領域分割構造を利用して,大規模グリッドモデルに適用可能な階層型drl設計を提案する。 地域別分散型RLエージェントを訓練し、各エリアの低レベルポリシーを算出し、低レベルポリシーの更新を使用して低レベルエージェントが行う制御アクションを効率的に調整する高レベルDRLエージェントを同時トレーニングします。
  論文  参考訳（メタデータ） (2021-01-29T21:30:59Z)
• Learning and Fast Adaptation for Grid Emergency Control via Deep Meta Reinforcement Learning [22.58070790887177]
  電力システムは、より不確実性、より少ない慣性、および操作限界に近い重要な変換を受けています。 システムの信頼性とセキュリティを維持するために、グリッド緊急制御を強化する必要がある。 近年、深層補強学習(DRL)ベースのグリッド制御ソリューションの開発に大きな進歩を遂げています。 既存のDRLベースのソリューションには2つの大きな制限がある: 1) グリッドの動作条件、システムパラメータ、コンテンシーにうまく対応できない; 2) 新しいグリッドの動作条件、システムパラメータ、およびコンテンシーに迅速に適応する能力が欠如し、現実のアプリケーションへの適用性が制限されている。
  論文  参考訳（メタデータ） (2021-01-13T19:45:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。