論文の概要: CommonPower: A Framework for Safe Data-Driven Smart Grid Control
- arxiv url: http://arxiv.org/abs/2406.03231v4
- Date: Wed, 12 Mar 2025 15:23:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-13 15:34:35.080052
- Title: CommonPower: A Framework for Safe Data-Driven Smart Grid Control
- Title（参考訳）: CommonPower: 安全なデータ駆動型スマートグリッド制御フレームワーク
- Authors: Michael Eichelbeck, Hannah Markgraf, Matthias Althoff,
- Abstract要約: PythonツールのCommonPowerは、機械学習に適したパワーシステム管理のモデリングとシミュレーションのための最初のフレームワークである。
CommonPowerには、機械学習ベースの予測器のためのトレーニングパイプラインと、RLコントローラの学習アップデートにセーフガードのフィードバックを組み込む柔軟なメカニズムが含まれている。
- 参考スコア（独自算出の注目度）: 7.133681867718039
- License:
- Abstract: The growing complexity of power system management has led to an increased interest in reinforcement learning (RL). To validate their effectiveness, RL algorithms have to be evaluated across multiple case studies. Case study design is an arduous task requiring the consideration of many aspects, among them the influence of available forecasts and the level of decentralization in the control structure. Furthermore, vanilla RL controllers cannot themselves ensure the satisfaction of system constraints, which makes devising a safeguarding mechanism a necessary task for every case study before deploying the system. To address these shortcomings, we introduce the Python tool CommonPower, the first general framework for the modeling and simulation of power system management tailored towards machine learning. Its modular architecture enables users to focus on specific elements without having to implement a simulation environment. Another unique contribution of CommonPower is the automatic synthesis of model predictive controllers and safeguards. Beyond offering a unified interface for single-agent RL, multi-agent RL, and optimal control, CommonPower includes a training pipeline for machine-learning-based forecasters as well as a flexible mechanism for incorporating feedback of safeguards into the learning updates of RL controllers.
- Abstract（参考訳）: 電力系統管理の複雑さの増大により、強化学習(RL)への関心が高まっている。
有効性を検証するためには、RLアルゴリズムを複数のケーススタディで評価する必要がある。
ケーススタディデザインは、利用可能な予測の影響や制御構造における分散化のレベルなど、多くの側面の考慮を必要とする厳しい課題である。
さらに、バニラRLコントローラはシステム制約の満足度を保証できないため、システム展開前のケーススタディ毎にセーフガード機構を設計する必要がある。
このような欠点に対処するため,我々は,機械学習に適した電力系統管理のモデリングとシミュレーションを行うための,最初の汎用フレームワークであるPythonツールであるCommonPowerを紹介した。
モジュールアーキテクチャにより、シミュレーション環境を実装することなく、特定の要素に集中することができる。
CommonPowerのもうひとつのユニークな貢献は、モデル予測コントローラとセーフガードの自動合成である。
CommonPowerは、シングルエージェントRL、マルチエージェントRL、最適制御のための統一インターフェースを提供するだけでなく、マシンラーニングベースの予測器のためのトレーニングパイプラインと、RLコントローラの学習アップデートにセーフガードのフィードバックを組み込む柔軟なメカニズムも備えている。
関連論文リスト
- Large Language Model-Enhanced Reinforcement Learning for Generic Bus Holding Control Strategies [12.599164162404994]
本研究では,Large Language Models(LLMs)の文脈内学習と推論機能を活用した自動報酬生成パラダイムを提案する。
提案するLLM拡張RLパラダイムの実現可能性を評価するため,合成単線システムや実世界の多線システムなど,様々なバス保持制御シナリオに適用した。
論文 参考訳（メタデータ） (2024-10-14T07:10:16Z) - Reinforcement Learning with Adaptive Regularization for Safe Control of Critical Systems [2.126171264016785]
安全なRL探索を可能にするアルゴリズムである適応正規化(RL-AR)を提案する。
RL-ARは「フォーカスモジュール」を介してポリシーの組み合わせを行い、状態に応じて適切な組み合わせを決定する。
一連のクリティカルコントロールアプリケーションにおいて、RL-ARはトレーニング中の安全性を保証するだけでなく、モデルフリーなRLの標準との競合も得ることを示した。
論文 参考訳（メタデータ） (2024-04-23T16:35:14Z) - Model-Based RL for Mean-Field Games is not Statistically Harder than Single-Agent RL [57.745700271150454]
モデルに基づく関数近似を用いた平均フィールドゲーム(MFG)における強化学習のサンプル複雑性について検討した。
本稿では、モデルクラスの複雑性を特徴付けるためのより効果的な概念である部分モデルベースエルダー次元(P-MBED)を紹介する。
論文 参考訳（メタデータ） (2024-02-08T14:54:47Z) - Deployable Reinforcement Learning with Variable Control Rate [14.838483990647697]
可変制御率を持つ強化学習(RL)の変種を提案する。
このアプローチでは、ポリシーは、エージェントが取るべきアクションと、そのアクションに関連する時間ステップの期間を決定する。
ニュートンキネマティクスを用いたエージェントを駆動する概念実証シミュレーションによりSEACの有効性を示す。
論文 参考訳（メタデータ） (2024-01-17T15:40:11Z) - RL + Model-based Control: Using On-demand Optimal Control to Learn Versatile Legged Locomotion [16.800984476447624]
本稿では,モデルに基づく最適制御と強化学習を組み合わせた制御フレームワークを提案する。
我々は、一連の実験を通じて、フレームワークの堅牢性と制御性を検証する。
本フレームワークは,多様な次元を持つロボットに対する制御ポリシーのトレーニングを,無力的に支援する。
論文 参考訳（メタデータ） (2023-05-29T01:33:55Z) - Energy Management of Multi-mode Plug-in Hybrid Electric Vehicle using
Multi-agent Deep Reinforcement Learning [6.519522573636577]
多モードプラグインハイブリッド電気自動車(PHEV)技術は、脱炭に寄与する経路の1つである。
本稿では,多モードPHEVのエネルギー管理のためのマルチエージェント深部強化学習(MADRL)制御法について検討する。
統合DDPG設定と0.2の関連性比を用いて、MADRLシステムはシングルエージェント学習システムと比較して最大4%のエネルギーを節約でき、従来のルールベースシステムに比べて最大23.54%のエネルギーを節約できる。
論文 参考訳（メタデータ） (2023-03-16T21:31:55Z) - Sparsity-Aware Intelligent Massive Random Access Control in Open RAN: A
Reinforcement Learning Based Approach [61.74489383629319]
新たなOpen Radio Access Network(O-RAN)におけるデバイスの大量ランダムアクセスは、アクセス制御と管理に大きな課題をもたらします。
閉ループアクセス制御の強化学習(RL)支援方式を提案する。
深部RL支援SAUDは、連続的かつ高次元の状態と行動空間を持つ複雑な環境を解決するために提案されている。
論文 参考訳（メタデータ） (2023-03-05T12:25:49Z) - Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。
本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。
我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
論文 参考訳（メタデータ） (2022-09-24T14:22:29Z) - Skip Training for Multi-Agent Reinforcement Learning Controller for
Industrial Wave Energy Converters [94.84709449845352]
近年のウェーブ・エナジー・コンバータ(WEC)は、発電を最大化するために複数の脚と発電機を備えている。
従来のコントローラは複雑な波のパターンを捕捉する制限を示しており、コントローラはエネルギー捕獲を効率的に最大化する必要がある。
本稿では,従来のスプリングダンパよりも優れたマルチエージェント強化学習コントローラ(MARL)を提案する。
論文 参考訳（メタデータ） (2022-09-13T00:20:31Z) - Policy Search for Model Predictive Control with Application to Agile
Drone Flight [56.24908013905407]
MPCのためのポリシ・フォー・モデル・予測制御フレームワークを提案する。
具体的には、パラメータ化コントローラとしてMPCを定式化し、パラメータ化の難しい決定変数を高レベルポリシーとして表現する。
シミュレーションと実環境の両方において,我々の制御器が堅牢かつリアルタイムに制御性能を発揮することを示す実験を行った。
論文 参考訳（メタデータ） (2021-12-07T17:39:24Z) - Improving Robustness of Reinforcement Learning for Power System Control
with Adversarial Training [71.7750435554693]
電力系統制御のために提案された最先端のRLエージェントが敵攻撃に対して脆弱であることを示す。
具体的には、敵のマルコフ決定プロセスを用いて攻撃方針を学習し、攻撃の有効性を実証する。
本稿では,RLエージェントの攻撃に対する堅牢性を高め,実行不可能な運用上の決定を回避するために,敵の訓練を利用することを提案する。
論文 参考訳（メタデータ） (2021-10-18T00:50:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。