論文の概要: Empowering Safe Reinforcement Learning for Power System Control with CommonPower

• arxiv url: http://arxiv.org/abs/2406.03231v2
• Date: Tue, 16 Jul 2024 09:48:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-07-17 20:49:21.402342
• Title: Empowering Safe Reinforcement Learning for Power System Control with CommonPower
• Title（参考訳）: CommonPowerを用いた系統制御のための安全強化学習の強化
• Authors: Michael Eichelbeck, Hannah Markgraf, Matthias Althoff,
• Abstract要約: RLコントローラのフレキシブルでモデルベースの保護を可能にするPythonツールCommonPowerを紹介した。 CommonPowerは、単一エージェントRL、マルチエージェントRL、最適制御のための統一インターフェースを提供し、異なる予測メソッドをシームレスに統合する。 我々は、異なる安全ガードを特徴とするRLエージェントと、エネルギー管理のコンテキストにおけるモデル予測制御器を比較した数値ケーススタディにより、CommonPowerの汎用性を実証する。
• 参考スコア（独自算出の注目度）: 7.133681867718039
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The growing complexity of power system management has led to an increased interest in reinforcement learning (RL). However, vanilla RL controllers cannot themselves ensure satisfaction of system constraints. Therefore, combining them with formally correct safeguarding mechanisms is an important aspect when studying RL for power system management. Integrating safeguarding into complex use cases requires tool support. To address this need, we introduce the Python tool CommonPower. CommonPower's unique contribution lies in its symbolic modeling approach, which enables flexible, model-based safeguarding of RL controllers. Moreover, CommonPower offers a unified interface for single-agent RL, multi-agent RL, and optimal control, with seamless integration of different forecasting methods. This allows users to validate the effectiveness of safe RL controllers across a large variety of case studies and investigate the influence of specific aspects on overall performance. We demonstrate CommonPower's versatility through a numerical case study that compares RL agents featuring different safeguards with a model predictive controller in the context of building energy management.
• Abstract（参考訳）: 電力系統管理の複雑さの増大により、強化学習(RL)への関心が高まっている。 しかしながら、バニラRLコントローラはシステム制約の満足度を保証することはできない。 したがって, 電力系統管理のためのRL研究において, 公式に正しい保護機構と組み合わせることが重要である。 複雑なユースケースにセーフガードを統合するには、ツールのサポートが必要だ。 このニーズに対処するために、PythonツールのCommonPowerを紹介します。 CommonPowerのユニークな貢献は、RLコントローラの柔軟なモデルベースの保護を可能にするシンボリックモデリングアプローチにある。 さらにCommonPowerは、単一エージェントRL、マルチエージェントRL、最適制御のための統一インターフェースを提供し、異なる予測メソッドをシームレスに統合する。 これにより、ユーザは、さまざまなケーススタディで安全なRLコントローラの有効性を検証し、全体的なパフォーマンスに対する特定の側面の影響を調べることができる。 我々は、異なる安全ガードを特徴とするRLエージェントと、エネルギー管理のコンテキストにおけるモデル予測制御器を比較した数値ケーススタディにより、CommonPowerの汎用性を実証する。

関連論文リスト

• Model-based controller assisted domain randomization in deep reinforcement learning: application to nonlinear powertrain control [0.0]
  本研究では, 深部強化学習(DRL)の枠組みを用いた新しいロバスト制御手法を提案する。 問題設定は、不確実性と非線形性を考慮した制御系に対して、バニラMDPの集合である潜在マルコフ決定プロセス(LMDP)を介してモデル化される。 従来のDRLベースの制御と比較して、提案するコントローラ設計はより賢く、高度な一般化能力を実現することができる。
  論文  参考訳（メタデータ） (2025-04-28T12:09:07Z)
• SINERGYM -- A virtual testbed for building energy optimization with Reinforcement Learning [40.71019623757305]
  本稿では、大規模ビルディングシミュレーション、データ収集、継続的制御、実験監視のためのオープンソースのPythonベースの仮想テストベッドであるSinergymについて述べる。
  論文  参考訳（メタデータ） (2024-12-11T11:09:13Z)
• Large Language Model-Enhanced Reinforcement Learning for Generic Bus Holding Control Strategies [12.599164162404994]
  本研究では,Large Language Models(LLMs)の文脈内学習と推論機能を活用した自動報酬生成パラダイムを提案する。 提案するLLM拡張RLパラダイムの実現可能性を評価するため,合成単線システムや実世界の多線システムなど,様々なバス保持制御シナリオに適用した。
  論文  参考訳（メタデータ） (2024-10-14T07:10:16Z)
• Model-Based RL for Mean-Field Games is not Statistically Harder than Single-Agent RL [57.745700271150454]
  モデルに基づく関数近似を用いた平均フィールドゲーム(MFG)における強化学習のサンプル複雑性について検討した。 本稿では、モデルクラスの複雑性を特徴付けるためのより効果的な概念である部分モデルベースエルダー次元(P-MBED)を紹介する。
  論文  参考訳（メタデータ） (2024-02-08T14:54:47Z)
• Real-World Implementation of Reinforcement Learning Based Energy Coordination for a Cluster of Households [3.901860248668672]
  本研究では, 住宅8棟の電力消費調整における強化学習(RL)の有効性について検討した。 以上の結果から,データ駆動方式で学習したRLに基づくランキングの有効性が示された。
  論文  参考訳（メタデータ） (2023-10-29T21:10:38Z)
• RL + Model-based Control: Using On-demand Optimal Control to Learn Versatile Legged Locomotion [16.800984476447624]
  本稿では,モデルに基づく最適制御と強化学習を組み合わせた制御フレームワークを提案する。 我々は、一連の実験を通じて、フレームワークの堅牢性と制御性を検証する。 本フレームワークは,多様な次元を持つロボットに対する制御ポリシーのトレーニングを,無力的に支援する。
  論文  参考訳（メタデータ） (2023-05-29T01:33:55Z)
• Energy Management of Multi-mode Plug-in Hybrid Electric Vehicle using Multi-agent Deep Reinforcement Learning [6.519522573636577]
  多モードプラグインハイブリッド電気自動車(PHEV)技術は、脱炭に寄与する経路の1つである。 本稿では,多モードPHEVのエネルギー管理のためのマルチエージェント深部強化学習(MADRL)制御法について検討する。 統合DDPG設定と0.2の関連性比を用いて、MADRLシステムはシングルエージェント学習システムと比較して最大4%のエネルギーを節約でき、従来のルールベースシステムに比べて最大23.54%のエネルギーを節約できる。
  論文  参考訳（メタデータ） (2023-03-16T21:31:55Z)
• A Dynamic Feedforward Control Strategy for Energy-efficient Building System Operation [59.56144813928478]
  現在の制御戦略と最適化アルゴリズムでは、そのほとんどはリアルタイムフィードバックから情報を受け取ることに依存している。 本稿では,システム制御のためのシステム特性を同時に構築することによる,ダイナミックな事前知識を組み込む,エンジニアフレンドリな制御戦略フレームワークを提案する。 典型的な制御戦略でシステム制御を加熱するケースでテストしたところ、我々のフレームワークは15%の省エネ性を持っていることがわかった。
  論文  参考訳（メタデータ） (2023-01-23T09:07:07Z)
• Flexible Attention-Based Multi-Policy Fusion for Efficient Deep Reinforcement Learning [78.31888150539258]
  強化学習(RL)エージェントは、長い間、人間の学習の効率にアプローチしようとしてきた。 RLにおける以前の研究は、エージェントがサンプル効率を改善するために外部知識ポリシーを取り入れていた。 我々は,複数の知識ポリシーを融合させたRLパラダイムであるKGRL(Knowledge-Grounded RL)について述べる。
  論文  参考訳（メタデータ） (2022-10-07T17:56:57Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Skip Training for Multi-Agent Reinforcement Learning Controller for Industrial Wave Energy Converters [94.84709449845352]
  近年のウェーブ・エナジー・コンバータ(WEC)は、発電を最大化するために複数の脚と発電機を備えている。 従来のコントローラは複雑な波のパターンを捕捉する制限を示しており、コントローラはエネルギー捕獲を効率的に最大化する必要がある。 本稿では,従来のスプリングダンパよりも優れたマルチエージェント強化学習コントローラ(MARL)を提案する。
  論文  参考訳（メタデータ） (2022-09-13T00:20:31Z)
• Deep Reinforcement Learning with Shallow Controllers: An Experimental Application to PID Tuning [3.9146761527401424]
  実際の物理システム上での最先端RLアルゴリズムの実現における課題について述べる。 私たちのアプローチの核心は、トレーニング可能なRLポリシーとしてPIDコントローラを使用することです。
  論文  参考訳（メタデータ） (2021-11-13T18:48:28Z)
• Distributional Reinforcement Learning for Multi-Dimensional Reward Functions [91.88969237680669]
  多次元分布DQN(MD3QN)を導入し、複数の報酬源からの共振分布をモデル化する。 関節分布モデリングの副産物として、MD3QNは各報酬源に対するリターンのランダム性を捉えることができる。 実験では,リッチな相関型報酬関数を持つ環境下での連立戻り分布を精度良くモデル化した。
  論文  参考訳（メタデータ） (2021-10-26T11:24:23Z)
• Improving Robustness of Reinforcement Learning for Power System Control with Adversarial Training [71.7750435554693]
  電力系統制御のために提案された最先端のRLエージェントが敵攻撃に対して脆弱であることを示す。 具体的には、敵のマルコフ決定プロセスを用いて攻撃方針を学習し、攻撃の有効性を実証する。 本稿では,RLエージェントの攻撃に対する堅牢性を高め,実行不可能な運用上の決定を回避するために,敵の訓練を利用することを提案する。
  論文  参考訳（メタデータ） (2021-10-18T00:50:34Z)
• Sparsity in Partially Controllable Linear Systems [56.142264865866636]
  本研究では, 部分制御可能な線形力学系について, 基礎となる空間パターンを用いて検討する。 最適制御には無関係な状態変数を特徴付ける。
  論文  参考訳（メタデータ） (2021-10-12T16:41:47Z)
• Reinforcement Learning as One Big Sequence Modeling Problem [84.84564880157149]
  強化学習(Reinforcement Learning, RL)は、通常、単一ステップポリシーや単一ステップモデルの推定に関係している。 我々は、RLをシーケンスモデリング問題とみなし、高い報酬のシーケンスにつながる一連のアクションを予測することを目標としている。
  論文  参考訳（メタデータ） (2021-06-03T17:58:51Z)
• RL-Controller: a reinforcement learning framework for active structural control [0.0]
  フレキシブルでスケーラブルなシミュレーション環境であるRL-Controllerを導入することで,アクティブコントローラを設計するための新しいRLベースのアプローチを提案する。 提案するフレームワークは,5階建てのベンチマークビルディングに対して,平均65%の削減率で,容易に学習可能であることを示す。 LQG 能動制御法との比較研究において,提案したモデルフリーアルゴリズムはより最適なアクチュエータ強制戦略を学習することを示した。
  論文  参考訳（メタデータ） (2021-03-13T04:42:13Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。