論文の概要: Augmented Lagrangian-Based Safe Reinforcement Learning Approach for Distribution System Volt/VAR Control

• arxiv url: http://arxiv.org/abs/2410.15188v1
• Date: Sat, 19 Oct 2024 19:45:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:12:50.678829
• Title: Augmented Lagrangian-Based Safe Reinforcement Learning Approach for Distribution System Volt/VAR Control
• Title（参考訳）: 配電系統ボルト/VAR制御のためのラグランジアン型安全強化学習アプローチ
• Authors: Guibin Chen,
• Abstract要約: 本稿では,Volt-VAR制御問題をマルコフ決定過程(CMDP)として定式化する。 本稿では, CMDP を解くために, 安全な非政治強化学習(RL)手法を提案する。 オフライントレーニングとオンライン実行には2段階の戦略が採用されているため、正確な分散システムモデルはもはや不要である。
• 参考スコア（独自算出の注目度）: 1.1059341532498634
• License:
• Abstract: This paper proposes a data-driven solution for Volt-VAR control problem in active distribution system. As distribution system models are always inaccurate and incomplete, it is quite difficult to solve the problem. To handle with this dilemma, this paper formulates the Volt-VAR control problem as a constrained Markov decision process (CMDP). By synergistically combining the augmented Lagrangian method and soft actor critic algorithm, a novel safe off-policy reinforcement learning (RL) approach is proposed in this paper to solve the CMDP. The actor network is updated in a policy gradient manner with the Lagrangian value function. A double-critics network is adopted to synchronously estimate the action-value function to avoid overestimation bias. The proposed algorithm does not require strong convexity guarantee of examined problems and is sample efficient. A two-stage strategy is adopted for offline training and online execution, so the accurate distribution system model is no longer needed. To achieve scalability, a centralized training distributed execution strategy is adopted for a multi-agent framework, which enables a decentralized Volt-VAR control for large-scale distribution system. Comprehensive numerical experiments with real-world electricity data demonstrate that our proposed algorithm can achieve high solution optimality and constraints compliance.
• Abstract（参考訳）: 本稿では,アクティブ分散システムにおけるVolt-VAR制御問題に対するデータ駆動型ソリューションを提案する。 分布系モデルは常に不正確で不完全であるため、この問題を解決することは極めて困難である。 本稿では,このジレンマに対処するため,Volt-VAR制御問題を制約付きマルコフ決定過程(CMDP)として定式化する。 拡張ラグランジアン法とソフトアクター批判アルゴリズムを相乗的に組み合わせることで, CMDPを解くために, 安全な非政治強化学習(RL)手法を提案する。 アクターネットワークは、ラグランジアン値関数と共にポリシー勾配的に更新される。 二重批判ネットワークを用いて、動作値関数を同期的に推定し、過大評価バイアスを回避する。 提案アルゴリズムでは, 検討された問題の凸性保証は必要とせず, サンプリング効率が高い。 オフライントレーニングとオンライン実行には2段階の戦略が採用されているため、正確な分散システムモデルはもはや不要である。 スケーラビリティを実現するために,大規模分散システムのための分散Volt-VAR制御を実現するマルチエージェントフレームワークに対して,集中型分散実行戦略を採用した。 実世界の電気データを用いた総合的な数値実験により,提案アルゴリズムは高解最適性と制約コンプライアンスを実現することができることを示した。

関連論文リスト

• Two-Stage ML-Guided Decision Rules for Sequential Decision Making under Uncertainty [55.06411438416805]
  SDMU (Sequential Decision Making Under Uncertainty) は、エネルギー、金融、サプライチェーンといった多くの領域において、ユビキタスである。 いくつかのSDMUは、自然にマルチステージ問題(MSP)としてモデル化されているが、結果として得られる最適化は、計算の観点からは明らかに困難である。 本稿では,2段階の一般決定規則(TS-GDR)を導入し,線形関数を超えて政策空間を一般化する手法を提案する。 TS-GDRの有効性は、TS-LDR(Two-Stage Deep Decision Rules)と呼ばれるディープリカレントニューラルネットワークを用いたインスタンス化によって実証される。
  論文  参考訳（メタデータ） (2024-05-23T18:19:47Z)
• Learning Predictive Safety Filter via Decomposition of Robust Invariant Set [6.94348936509225]
  本稿では, RMPCとRL RLの併用による非線形システムの安全フィルタの合成について述べる。 本稿では,ロバストリーチ問題に対する政策アプローチを提案し,その複雑性を確立する。
  論文  参考訳（メタデータ） (2023-11-12T08:11:28Z)
• Lyapunov-Based Reinforcement Learning for Decentralized Multi-Agent Control [3.3788926259119645]
  分散マルチエージェント制御では、システムは未知あるいは非常に不確実なダイナミクスで複雑である。 深層強化学習(DRL)は、システムダイナミクスを知らずに、データからコントローラや政治を学ぶことを約束している。 既存のマルチエージェント強化学習(MARL)アルゴリズムは、マルチエージェントシステムの閉ループ安定性を保証することができない。 安定保証付き分散マルチエージェント制御のための新しいMARLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-20T06:11:42Z)
• Resource Allocation via Model-Free Deep Learning in Free Space Optical Communications [119.81868223344173]
  本稿では,自由空間光学(FSO)通信におけるチャネルフェージング効果の緩和のための資源配分の一般的な問題について検討する。 本フレームワークでは,FSO資源割り当て問題を解決する2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:38:51Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)
• Implicit Distributional Reinforcement Learning [61.166030238490634]
  2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC) 半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。 我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
  論文  参考訳（メタデータ） (2020-07-13T02:52:18Z)
• Consensus Multi-Agent Reinforcement Learning for Volt-VAR Control in Power Distribution Networks [8.472603460083375]
  VVC問題を解くために,コンセンサス多エージェント深部強化学習アルゴリズムを提案する。 提案アルゴリズムでは,各エージェントが局所報酬を用いてグループ制御ポリシーを学習することができる。 IEEE分散テストフィードの数値的研究により,提案アルゴリズムは単エージェント強化学習ベンチマークの性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2020-07-06T18:21:47Z)
• Strictly Batch Imitation Learning by Energy-based Distribution Matching [104.33286163090179]
  すなわち、強化信号へのアクセスがなく、遷移力学の知識がなく、環境とのさらなる相互作用もない。 1つの解決策は、既存のアルゴリズムをオフライン環境で動作させるために、見習いの学習に適合させることである。 しかし、このようなアプローチは、政治外の評価やオフラインモデルの推定に大きく依存しており、間接的で非効率である可能性がある。 優れたソリューションは、ポリシーを明示的にパラメータ化し、ロールアウトダイナミクスから暗黙的に学習し、完全にオフラインで運用できるべきだ、と私たちは主張する。
  論文  参考訳（メタデータ） (2020-06-25T03:27:59Z)
• Distributed Voltage Regulation of Active Distribution System Based on Enhanced Multi-agent Deep Reinforcement Learning [9.7314654861242]
  本稿では,スペクトルクラスタリングと拡張マルチエージェント深部強化学習(MADRL)アルゴリズムに基づくデータ駆動分散電圧制御手法を提案する。 提案手法は,システムパラメータの通信と知識の要求を大幅に低減することができる。 また、不確実性を効果的に処理し、最新のローカル情報に基づいたオンライン協調制御を提供する。
  論文  参考訳（メタデータ） (2020-05-31T15:48:27Z)
• F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
  分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。 本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。 当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
  論文  参考訳（メタデータ） (2020-04-17T14:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。