論文の概要: Online Multi-agent Reinforcement Learning for Decentralized Inverter-based Volt-VAR Control

• arxiv url: http://arxiv.org/abs/2006.12841v2
• Date: Wed, 7 Apr 2021 15:31:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 23:53:14.842468
• Title: Online Multi-agent Reinforcement Learning for Decentralized Inverter-based Volt-VAR Control
• Title（参考訳）: 分散型インバータ型volt-var制御のためのオンラインマルチエージェント強化学習
• Authors: Haotian Liu, Wenchuan Wu
• Abstract要約: 分散Volt/Var制御(VVC)法はアクティブ分散ネットワーク(ADN)において広く研究されている。 本稿では,VVCのためのオンラインマルチエージェント強化学習と分散制御フレームワーク(OLDC)を提案する。
• 参考スコア（独自算出の注目度）: 3.260913246106564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The distributed Volt/Var control (VVC) methods have been widely studied for active distribution networks(ADNs), which is based on perfect model and real-time P2P communication. However, the model is always incomplete with significant parameter errors and such P2P communication system is hard to maintain. In this paper, we propose an online multi-agent reinforcement learning and decentralized control framework (OLDC) for VVC. In this framework, the VVC problem is formulated as a constrained Markov game and we propose a novel multi-agent constrained soft actor-critic (MACSAC) reinforcement learning algorithm. MACSAC is used to train the control agents online, so the accurate ADN model is no longer needed. Then, the trained agents can realize decentralized optimal control using local measurements without real-time P2P communication. The OLDC with MACSAC has shown extraordinary flexibility, efficiency and robustness to various computing and communication conditions. Numerical simulations on IEEE test cases not only demonstrate that the proposed MACSAC outperforms the state-of-art learning algorithms, but also support the superiority of our OLDC framework in the online application.
• Abstract（参考訳）: 分散Volt/Var制御(VVC)法は,完全モデルとリアルタイムP2P通信に基づくアクティブ分散ネットワーク(ADN)において広く研究されている。 しかし、モデルは常に重要なパラメータエラーで不完全であり、そのようなp2p通信システムは維持が困難である。 本稿では,VVCのためのオンラインマルチエージェント強化学習と分散制御フレームワーク(OLDC)を提案する。 本稿では,vvc問題を制約付きマルコフゲームとして定式化し,マルチエージェント制約付きソフトアクタ-クリティック(macsac)強化学習アルゴリズムを提案する。 MACSACは制御エージェントをオンラインで訓練するために使用されるため、正確なADNモデルはもはや不要である。 そして、実時間p2p通信を必要とせず、局所的な測定を用いて分散最適制御を実現する。 MACSACによるOLDCは、様々な計算および通信条件に対して、驚くほどの柔軟性、効率、堅牢性を示している。 IEEEテストケースの数値シミュレーションでは、提案したMACSACが最先端の学習アルゴリズムより優れているだけでなく、オンラインアプリケーションにおけるOLDCフレームワークの優位性も裏付けている。

関連論文リスト

• Augmented Lagrangian-Based Safe Reinforcement Learning Approach for Distribution System Volt/VAR Control [1.1059341532498634]
  本稿では,Volt-VAR制御問題をマルコフ決定過程(CMDP)として定式化する。 本稿では, CMDP を解くために, 安全な非政治強化学習(RL)手法を提案する。 オフライントレーニングとオンライン実行には2段階の戦略が採用されているため、正確な分散システムモデルはもはや不要である。
  論文  参考訳（メタデータ） (2024-10-19T19:45:09Z)
• Parameter-Adaptive Approximate MPC: Tuning Neural-Network Controllers without Retraining [50.00291020618743]
  この研究は、大規模なデータセットを再計算し、再トレーニングすることなくオンラインチューニングが可能な、新しいパラメータ適応型AMPCアーキテクチャを導入している。 資源制約の厳しいマイクロコントローラ(MCU)を用いた2種類の実カートポールシステムの揺らぎを制御し,パラメータ適応型AMPCの有効性を示す。 これらの貢献は、現実世界のシステムにおけるAMPCの実践的応用に向けた重要な一歩である。
  論文  参考訳（メタデータ） (2024-04-08T20:02:19Z)
• A Unified Framework for Alternating Offline Model Training and Policy Learning [62.19209005400561]
  オフラインモデルに基づく強化学習では、歴史的収集データから動的モデルを学び、学習モデルと固定データセットを用いてポリシー学習を行う。 提案手法は,本手法が期待するリターンを最小限に抑えるための,反復的なオフラインMBRLフレームワークを開発する。 提案する統一型モデル政治学習フレームワークにより、我々は、広範囲の連続制御オフライン強化学習データセット上での競合性能を実現する。
  論文  参考訳（メタデータ） (2022-10-12T04:58:51Z)
• MACC: Cross-Layer Multi-Agent Congestion Control with Deep Reinforcement Learning [14.29757990259669]
  Congestion Control (CC)は、ネットワーク容量を効率的に活用するためのコアネットワークタスクである。 本稿では,マルチエージェント強化学習に基づく階層間混雑制御アルゴリズムの性能について検討する。
  論文  参考訳（メタデータ） (2022-06-04T12:02:35Z)
• Optimization for Master-UAV-powered Auxiliary-Aerial-IRS-assisted IoT Networks: An Option-based Multi-agent Hierarchical Deep Reinforcement Learning Approach [56.84948632954274]
  本稿では,無人航空機(MUAV)搭載のIoT(Internet of Things)ネットワークについて検討する。 本稿では、インテリジェント反射面(IRS)を備えた充電可能な補助UAV(AUAV)を用いて、MUAVからの通信信号を強化することを提案する。 提案モデルでは,IoTネットワークの蓄積スループットを最大化するために,これらのエネルギー制限されたUAVの最適協調戦略について検討する。
  論文  参考訳（メタデータ） (2021-12-20T15:45:28Z)
• Adaptive Stochastic ADMM for Decentralized Reinforcement Learning in Edge Industrial IoT [106.83952081124195]
  強化学習 (Reinforcement Learning, RL) は, 意思決定および最適制御プロセスのための有望な解法として広く研究されている。 本稿では,Adaptive ADMM (asI-ADMM)アルゴリズムを提案する。 実験の結果,提案アルゴリズムは通信コストやスケーラビリティの観点から技術状況よりも優れており,複雑なIoT環境に適応できることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T16:49:07Z)
• Lyapunov-Based Reinforcement Learning for Decentralized Multi-Agent Control [3.3788926259119645]
  分散マルチエージェント制御では、システムは未知あるいは非常に不確実なダイナミクスで複雑である。 深層強化学習(DRL)は、システムダイナミクスを知らずに、データからコントローラや政治を学ぶことを約束している。 既存のマルチエージェント強化学習(MARL)アルゴリズムは、マルチエージェントシステムの閉ループ安定性を保証することができない。 安定保証付き分散マルチエージェント制御のための新しいMARLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-20T06:11:42Z)
• Consensus Multi-Agent Reinforcement Learning for Volt-VAR Control in Power Distribution Networks [8.472603460083375]
  VVC問題を解くために,コンセンサス多エージェント深部強化学習アルゴリズムを提案する。 提案アルゴリズムでは,各エージェントが局所報酬を用いてグループ制御ポリシーを学習することができる。 IEEE分散テストフィードの数値的研究により,提案アルゴリズムは単エージェント強化学習ベンチマークの性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2020-07-06T18:21:47Z)
• Two-stage Deep Reinforcement Learning for Inverter-based Volt-VAR Control in Active Distribution Networks [3.260913246106564]
  本稿では,インバータを用いたエネルギー資源の制御により,電圧分布を改善するための2段階深部強化学習法を提案する。 オフライン段階では、モデルミスマッチに頑健なオフラインエージェントを訓練するために、高い効率の対向強化学習アルゴリズムが開発された。 連続的なオンライン段階において、オフラインエージェントをオンラインエージェントとして安全に転送し、継続的な学習を行い、オンラインで制御し、安全性と効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-05-20T08:02:13Z)
• F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
  分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。 本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。 当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
  論文  参考訳（メタデータ） (2020-04-17T14:56:29Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。