論文の概要: Safety Constrained Multi-Agent Reinforcement Learning for Active Voltage Control

• arxiv url: http://arxiv.org/abs/2405.08443v2
• Date: Tue, 3 Sep 2024 04:10:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-04 18:20:55.425809
• Title: Safety Constrained Multi-Agent Reinforcement Learning for Active Voltage Control
• Title（参考訳）: アクティブ電圧制御のための安全制約付きマルチエージェント強化学習
• Authors: Yang Qu, Jinming Ma, Feng Wu,
• Abstract要約: 能動電圧制御問題を制約付きマルコフゲームとして定式化し,安全性に制約のあるMARLアルゴリズムを提案する。 実世界規模シナリオを用いた配電ネットワークシミュレーション環境における本手法の評価を行った。
• 参考スコア（独自算出の注目度）: 34.95810473913879
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Active voltage control presents a promising avenue for relieving power congestion and enhancing voltage quality, taking advantage of the distributed controllable generators in the power network, such as roof-top photovoltaics. While Multi-Agent Reinforcement Learning (MARL) has emerged as a compelling approach to address this challenge, existing MARL approaches tend to overlook the constrained optimization nature of this problem, failing in guaranteeing safety constraints. In this paper, we formalize the active voltage control problem as a constrained Markov game and propose a safety-constrained MARL algorithm. We expand the primal-dual optimization RL method to multi-agent settings, and augment it with a novel approach of double safety estimation to learn the policy and to update the Lagrange-multiplier. In addition, we proposed different cost functions and investigated their influences on the behavior of our constrained MARL method. We evaluate our approach in the power distribution network simulation environment with real-world scale scenarios. Experimental results demonstrate the effectiveness of the proposed method compared with the state-of-the-art MARL methods. This paper is published at \url{https://www.ijcai.org/Proceedings/2024/}.
• Abstract（参考訳）: アクティブ電圧制御は、屋上太陽光発電などの電力ネットワークにおける分散制御可能発電機を利用して、電力混雑の軽減と電圧品質の向上のための有望な道を示す。 MARL(Multi-Agent Reinforcement Learning)は、この問題に対処するための魅力的なアプローチとして登場したが、既存のMARLアプローチは、この問題の制約された最適化特性を見落とし、安全性の制約を保証しない傾向にある。 本稿では,能動電圧制御問題を制約付きマルコフゲームとして定式化し,安全性に制約のあるMARLアルゴリズムを提案する。 そこで,本手法をマルチエージェント設定に拡張し,ポリシーの学習とラグランジュ乗算器の更新のために,二重安全性推定の新しいアプローチで拡張する。 さらに,異なるコスト関数を提案し,制約付きMARL法の挙動に与える影響について検討した。 実世界規模シナリオを用いた配電ネットワークシミュレーション環境における本手法の評価を行った。 実験により,提案手法の有効性を最先端のMARL法と比較した。 この論文は \url{https://www.ijcai.org/Proceedings/2024/} で発表されている。

関連論文リスト

• A novel ANROA based control approach for grid-tied multi-functional solar energy conversion system [0.0]
  三相格子型太陽太陽光発電システムに対する適応制御手法を提案し,検討した。 適応型ニューロファジィ推論システム(ANFIS)と降雨最適化アルゴリズム(ROA)を組み合わせた。 電圧変動、高調波、フリックなどの電力品質問題や、バランスの取れない負荷や反応電力の使用などを避けることが大きな目標である。
  論文  参考訳（メタデータ） (2024-01-26T09:12:39Z)
• AlberDICE: Addressing Out-Of-Distribution Joint Actions in Offline Multi-Agent RL via Alternating Stationary Distribution Correction Estimation [65.4532392602682]
  オフライン強化学習(RL)の主な課題の1つは、データ収集ポリシーから逸脱した学習ポリシーから生じる分散シフトである。 これはしばしば、政策改善中のアウト・オブ・ディストリビューション(OOD)アクションを避けることで対処される。 本稿では,定常分布最適化に基づく個別エージェントの集中学習を行うオフラインMARLアルゴリズムAlberDICEを紹介する。
  論文  参考訳（メタデータ） (2023-11-03T18:56:48Z)
• Stabilizing Voltage in Power Distribution Networks via Multi-Agent Reinforcement Learning with Transformer [128.19212716007794]
  本稿では,変圧器を用いたマルチエージェント・アクタ・クリティカル・フレームワーク(T-MAAC)を提案する。 さらに、電圧制御タスクに適した新しい補助タスクトレーニングプロセスを採用し、サンプル効率を向上する。
  論文  参考訳（メタデータ） (2022-06-08T07:48:42Z)
• Adversarially Robust Learning for Security-Constrained Optimal Power Flow [55.816266355623085]
  我々は、N-kセキュリティ制約付き最適電力流(SCOPF)の課題に取り組む。 N-k SCOPFは電力網の運用における中核的な問題である。 N-k SCOPF を極小最適化問題とみなす。
  論文  参考訳（メタデータ） (2021-11-12T22:08:10Z)
• Multi-Agent Reinforcement Learning for Active Voltage Control on Power Distribution Networks [2.992389186393994]
  脱炭のトレンドは、配電ネットワークに過度なストレスをかけている。 アクティブ電圧制御は、余分なハードウェア投資をすることなく、電力混雑を緩和し、電圧品質を向上させるための有望な解決策と見なされている。 本稿では,Dec-POMDPの枠組みにおけるアクティブ電圧制御問題を定式化し,オープンソース環境を確立する。
  論文  参考訳（メタデータ） (2021-10-27T09:31:22Z)
• Lyapunov-Based Reinforcement Learning for Decentralized Multi-Agent Control [3.3788926259119645]
  分散マルチエージェント制御では、システムは未知あるいは非常に不確実なダイナミクスで複雑である。 深層強化学習(DRL)は、システムダイナミクスを知らずに、データからコントローラや政治を学ぶことを約束している。 既存のマルチエージェント強化学習(MARL)アルゴリズムは、マルチエージェントシステムの閉ループ安定性を保証することができない。 安定保証付き分散マルチエージェント制御のための新しいMARLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-20T06:11:42Z)
• Responsive Safety in Reinforcement Learning by PID Lagrangian Methods [74.49173841304474]
  ラグランジアン法は振動とオーバーシュートを示し、安全強化学習に適用すると制約違反行動を引き起こす。 制約関数の微分を利用する新しいラグランジュ乗算器更新法を提案する。 我々はPIDラグランジアン法を深部RLに適用し、安全RLベンチマークであるSafety Gymにおける新しい技術状態を設定する。
  論文  参考訳（メタデータ） (2020-07-08T08:43:14Z)
• Strictly Batch Imitation Learning by Energy-based Distribution Matching [104.33286163090179]
  すなわち、強化信号へのアクセスがなく、遷移力学の知識がなく、環境とのさらなる相互作用もない。 1つの解決策は、既存のアルゴリズムをオフライン環境で動作させるために、見習いの学習に適合させることである。 しかし、このようなアプローチは、政治外の評価やオフラインモデルの推定に大きく依存しており、間接的で非効率である可能性がある。 優れたソリューションは、ポリシーを明示的にパラメータ化し、ロールアウトダイナミクスから暗黙的に学習し、完全にオフラインで運用できるべきだ、と私たちは主張する。
  論文  参考訳（メタデータ） (2020-06-25T03:27:59Z)
• Two-stage Deep Reinforcement Learning for Inverter-based Volt-VAR Control in Active Distribution Networks [3.260913246106564]
  本稿では,インバータを用いたエネルギー資源の制御により,電圧分布を改善するための2段階深部強化学習法を提案する。 オフライン段階では、モデルミスマッチに頑健なオフラインエージェントを訓練するために、高い効率の対向強化学習アルゴリズムが開発された。 連続的なオンライン段階において、オフラインエージェントをオンラインエージェントとして安全に転送し、継続的な学習を行い、オンラインで制御し、安全性と効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-05-20T08:02:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。