論文の概要: PowerGridworld: A Framework for Multi-Agent Reinforcement Learning in Power Systems

• arxiv url: http://arxiv.org/abs/2111.05969v1
• Date: Wed, 10 Nov 2021 22:22:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-13 02:47:03.447967
• Title: PowerGridworld: A Framework for Multi-Agent Reinforcement Learning in Power Systems
• Title（参考訳）: PowerGridworld: 電力システムにおけるマルチエージェント強化学習フレームワーク
• Authors: David Biagioni, Xiangyu Zhang, Dylan Wald, Deepthi Vaidhynathan, Rohit Chintala, Jennifer King, Ahmed S. Zamzam
• Abstract要約: 我々はPowerGridworldソフトウェアパッケージを紹介し、パワーシステムにフォーカスしたマルチエージェントGym環境を構築するための軽量でモジュール化されたカスタマイズ可能なフレームワークをユーザに提供します。
• 参考スコア（独自算出の注目度）: 6.782988908306483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present the PowerGridworld software package to provide users with a lightweight, modular, and customizable framework for creating power-systems-focused, multi-agent Gym environments that readily integrate with existing training frameworks for reinforcement learning (RL). Although many frameworks exist for training multi-agent RL (MARL) policies, none can rapidly prototype and develop the environments themselves, especially in the context of heterogeneous (composite, multi-device) power systems where power flow solutions are required to define grid-level variables and costs. PowerGridworld is an open-source software package that helps to fill this gap. To highlight PowerGridworld's key features, we present two case studies and demonstrate learning MARL policies using both OpenAI's multi-agent deep deterministic policy gradient (MADDPG) and RLLib's proximal policy optimization (PPO) algorithms. In both cases, at least some subset of agents incorporates elements of the power flow solution at each time step as part of their reward (negative cost) structures.
• Abstract（参考訳）: 我々は,powergridworldソフトウェアパッケージをユーザに提供して,既存の強化学習(rl)のためのトレーニングフレームワークと容易に統合可能な,パワーシステムにフォーカスしたマルチエージェントジム環境を作成するための軽量でモジュール化されたカスタマイズ可能なフレームワークを提供する。 マルチエージェントRL (MARL) ポリシをトレーニングするためのフレームワークは数多く存在するが、特にグリッドレベルの変数とコストを定義するために電力フローソリューションを必要とする異種(複合型、マルチデバイス)のパワーシステムにおいて、環境自体を迅速にプロトタイプ化し開発することはできない。 PowerGridworldは、このギャップを埋めるためのオープンソースのソフトウェアパッケージだ。 PowerGridworld の重要な特徴を明らかにするために,OpenAI のマルチエージェント深層決定性ポリシー勾配 (MADDPG) と RLLib の近近性ポリシー最適化 (PPO) アルゴリズムの両方を用いて,MARL ポリシーの学習を行う。 どちらの場合でも、エージェントの少なくとも一部のサブセットは、報酬(負のコスト)構造の一部として各時間ステップのパワーフローソリューションの要素を組み込んでいる。

関連論文リスト

• Augmented Lagrangian-Based Safe Reinforcement Learning Approach for Distribution System Volt/VAR Control [1.1059341532498634]
  本稿では,Volt-VAR制御問題をマルコフ決定過程(CMDP)として定式化する。 本稿では, CMDP を解くために, 安全な非政治強化学習(RL)手法を提案する。 オフライントレーニングとオンライン実行には2段階の戦略が採用されているため、正確な分散システムモデルはもはや不要である。
  論文  参考訳（メタデータ） (2024-10-19T19:45:09Z)
• Design Optimization of NOMA Aided Multi-STAR-RIS for Indoor Environments: A Convex Approximation Imitated Reinforcement Learning Approach [51.63921041249406]
  非直交多重アクセス(Noma)により、複数のユーザが同じ周波数帯域を共有でき、同時に再構成可能なインテリジェントサーフェス(STAR-RIS)を送信および反射することができる。 STAR-RISを屋内に展開することは、干渉緩和、電力消費、リアルタイム設定における課題を提示する。 複数のアクセスポイント(AP)、STAR-RIS、NOMAを利用した新しいネットワークアーキテクチャが屋内通信のために提案されている。
  論文  参考訳（メタデータ） (2024-06-19T07:17:04Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• Distributed-Training-and-Execution Multi-Agent Reinforcement Learning for Power Control in HetNet [48.96004919910818]
  We propose a multi-agent Deep reinforcement learning (MADRL) based power control scheme for the HetNet。 エージェント間の協調を促進するために,MADRLシステムのためのペナルティベースQラーニング(PQL)アルゴリズムを開発した。 このように、エージェントのポリシーは、他のエージェントによってより容易に学習でき、より効率的なコラボレーションプロセスをもたらす。
  論文  参考訳（メタデータ） (2022-12-15T17:01:56Z)
• MALib: A Parallel Framework for Population-based Multi-agent Reinforcement Learning [61.28547338576706]
  人口ベースマルチエージェント強化学習(PB-MARL)は、強化学習(RL)アルゴリズムでネストした一連の手法を指す。 PB-MARLのためのスケーラブルで効率的な計算フレームワークMALibを提案する。
  論文  参考訳（メタデータ） (2021-06-05T03:27:08Z)
• Multi-Objective Reinforcement Learning based Multi-Microgrid System Optimisation Problem [4.338938227238059]
  エネルギー貯蔵システムと分散型再生可能エネルギー源を備えたマイクログリッドは、従来の電源からの消費を減らし、CO$の排出を抑える上で重要な役割を担っている。 マルチマイクログリッドを分散電力グリッドに接続することで、システムのセキュリティとプライバシを高めるため、より堅牢で信頼性の高い操作が可能になる。 提案モデルは,スマートグリッド層,独立系演算子層(ISO)層,電力グリッド層という3つの層から構成される。
  論文  参考訳（メタデータ） (2021-03-10T23:01:22Z)
• UPDeT: Universal Multi-agent Reinforcement Learning via Policy Decoupling with Transformers [108.92194081987967]
  タスクに適合する1つのアーキテクチャを設計し、汎用的なマルチエージェント強化学習パイプラインを最初に試行する。 従来のRNNモデルとは異なり、トランスフォーマーモデルを用いてフレキシブルなポリシーを生成する。 提案方式はUPDeT(Universal Policy Decoupling Transformer)と名付けられ,動作制限を緩和し,マルチエージェントタスクの決定プロセスをより説明しやすいものにする。
  論文  参考訳（メタデータ） (2021-01-20T07:24:24Z)
• Deep Actor-Critic Learning for Distributed Power Control in Wireless Mobile Networks [5.930707872313038]
  深層強化学習は、教師付きディープラーニングと古典的な最適化に代わるモデルなしの代替手段を提供する。 本稿では,深いアクター・クリティカル・ラーニングの助けを借りて,分散的に実行された連続電力制御アルゴリズムを提案する。 提案した電力制御アルゴリズムを,携帯端末とチャネル条件が急速に変化するタイムスロットシステムに統合する。
  論文  参考訳（メタデータ） (2020-09-14T18:29:12Z)
• F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
  分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。 本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。 当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
  論文  参考訳（メタデータ） (2020-04-17T14:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。