論文の概要: PowerGridworld: A Framework for Multi-Agent Reinforcement Learning in
Power Systems
- arxiv url: http://arxiv.org/abs/2111.05969v1
- Date: Wed, 10 Nov 2021 22:22:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-13 02:47:03.447967
- Title: PowerGridworld: A Framework for Multi-Agent Reinforcement Learning in
Power Systems
- Title(参考訳): PowerGridworld: 電力システムにおけるマルチエージェント強化学習フレームワーク
- Authors: David Biagioni, Xiangyu Zhang, Dylan Wald, Deepthi Vaidhynathan, Rohit
Chintala, Jennifer King, Ahmed S. Zamzam
- Abstract要約: 我々はPowerGridworldソフトウェアパッケージを紹介し、パワーシステムにフォーカスしたマルチエージェントGym環境を構築するための軽量でモジュール化されたカスタマイズ可能なフレームワークをユーザに提供します。
- 参考スコア(独自算出の注目度): 6.782988908306483
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present the PowerGridworld software package to provide users with a
lightweight, modular, and customizable framework for creating
power-systems-focused, multi-agent Gym environments that readily integrate with
existing training frameworks for reinforcement learning (RL). Although many
frameworks exist for training multi-agent RL (MARL) policies, none can rapidly
prototype and develop the environments themselves, especially in the context of
heterogeneous (composite, multi-device) power systems where power flow
solutions are required to define grid-level variables and costs. PowerGridworld
is an open-source software package that helps to fill this gap. To highlight
PowerGridworld's key features, we present two case studies and demonstrate
learning MARL policies using both OpenAI's multi-agent deep deterministic
policy gradient (MADDPG) and RLLib's proximal policy optimization (PPO)
algorithms. In both cases, at least some subset of agents incorporates elements
of the power flow solution at each time step as part of their reward (negative
cost) structures.
- Abstract(参考訳): 我々は,powergridworldソフトウェアパッケージをユーザに提供して,既存の強化学習(rl)のためのトレーニングフレームワークと容易に統合可能な,パワーシステムにフォーカスしたマルチエージェントジム環境を作成するための軽量でモジュール化されたカスタマイズ可能なフレームワークを提供する。
マルチエージェントRL (MARL) ポリシをトレーニングするためのフレームワークは数多く存在するが、特にグリッドレベルの変数とコストを定義するために電力フローソリューションを必要とする異種(複合型、マルチデバイス)のパワーシステムにおいて、環境自体を迅速にプロトタイプ化し開発することはできない。
PowerGridworldは、このギャップを埋めるためのオープンソースのソフトウェアパッケージだ。
PowerGridworld の重要な特徴を明らかにするために,OpenAI のマルチエージェント深層決定性ポリシー勾配 (MADDPG) と RLLib の近近性ポリシー最適化 (PPO) アルゴリズムの両方を用いて,MARL ポリシーの学習を行う。
どちらの場合でも、エージェントの少なくとも一部のサブセットは、報酬(負のコスト)構造の一部として各時間ステップのパワーフローソリューションの要素を組み込んでいる。
関連論文リスト
- Distributed-Training-and-Execution Multi-Agent Reinforcement Learning
for Power Control in HetNet [48.96004919910818]
We propose a multi-agent Deep reinforcement learning (MADRL) based power control scheme for the HetNet。
エージェント間の協調を促進するために,MADRLシステムのためのペナルティベースQラーニング(PQL)アルゴリズムを開発した。
このように、エージェントのポリシーは、他のエージェントによってより容易に学習でき、より効率的なコラボレーションプロセスをもたらす。
論文 参考訳(メタデータ) (2022-12-15T17:01:56Z) - Efficient Domain Coverage for Vehicles with Second-Order Dynamics via
Multi-Agent Reinforcement Learning [9.939081691797858]
本稿では,2次動的エージェントを含む多エージェント効率ドメインカバレッジ問題に対する強化学習(RL)手法を提案する。
提案するネットワークアーキテクチャには,LSTMと自己注意が組み込まれている。
論文 参考訳(メタデータ) (2022-11-11T01:59:12Z) - Policy Search for Model Predictive Control with Application to Agile
Drone Flight [56.24908013905407]
MPCのためのポリシ・フォー・モデル・予測制御フレームワークを提案する。
具体的には、パラメータ化コントローラとしてMPCを定式化し、パラメータ化の難しい決定変数を高レベルポリシーとして表現する。
シミュレーションと実環境の両方において,我々の制御器が堅牢かつリアルタイムに制御性能を発揮することを示す実験を行った。
論文 参考訳(メタデータ) (2021-12-07T17:39:24Z) - MALib: A Parallel Framework for Population-based Multi-agent
Reinforcement Learning [61.28547338576706]
人口ベースマルチエージェント強化学習(PB-MARL)は、強化学習(RL)アルゴリズムでネストした一連の手法を指す。
PB-MARLのためのスケーラブルで効率的な計算フレームワークMALibを提案する。
論文 参考訳(メタデータ) (2021-06-05T03:27:08Z) - Multi-Objective Reinforcement Learning based Multi-Microgrid System
Optimisation Problem [4.338938227238059]
エネルギー貯蔵システムと分散型再生可能エネルギー源を備えたマイクログリッドは、従来の電源からの消費を減らし、CO$の排出を抑える上で重要な役割を担っている。
マルチマイクログリッドを分散電力グリッドに接続することで、システムのセキュリティとプライバシを高めるため、より堅牢で信頼性の高い操作が可能になる。
提案モデルは,スマートグリッド層,独立系演算子層(ISO)層,電力グリッド層という3つの層から構成される。
論文 参考訳(メタデータ) (2021-03-10T23:01:22Z) - UPDeT: Universal Multi-agent Reinforcement Learning via Policy
Decoupling with Transformers [108.92194081987967]
タスクに適合する1つのアーキテクチャを設計し、汎用的なマルチエージェント強化学習パイプラインを最初に試行する。
従来のRNNモデルとは異なり、トランスフォーマーモデルを用いてフレキシブルなポリシーを生成する。
提案方式はUPDeT(Universal Policy Decoupling Transformer)と名付けられ,動作制限を緩和し,マルチエージェントタスクの決定プロセスをより説明しやすいものにする。
論文 参考訳(メタデータ) (2021-01-20T07:24:24Z) - Deep Actor-Critic Learning for Distributed Power Control in Wireless
Mobile Networks [5.930707872313038]
深層強化学習は、教師付きディープラーニングと古典的な最適化に代わるモデルなしの代替手段を提供する。
本稿では,深いアクター・クリティカル・ラーニングの助けを借りて,分散的に実行された連続電力制御アルゴリズムを提案する。
提案した電力制御アルゴリズムを,携帯端末とチャネル条件が急速に変化するタイムスロットシステムに統合する。
論文 参考訳(メタデータ) (2020-09-14T18:29:12Z) - SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep
Reinforcement Learning [102.78958681141577]
SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。
SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
論文 参考訳(メタデータ) (2020-07-09T17:08:44Z) - F2A2: Flexible Fully-decentralized Approximate Actor-critic for
Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。
本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。
当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
論文 参考訳(メタデータ) (2020-04-17T14:56:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。