論文の概要: Enhancing Cyber Resilience of Networked Microgrids using Vertical
Federated Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2212.08973v1
- Date: Sat, 17 Dec 2022 22:56:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 19:01:52.368470
- Title: Enhancing Cyber Resilience of Networked Microgrids using Vertical
Federated Reinforcement Learning
- Title（参考訳）: 縦型強化学習を用いたネットワーク型マイクログリッドのサイバーレジリエンス向上
- Authors: Sayak Mukherjee, Ramij R. Hossain, Yuan Liu, Wei Du, Veronica Adetola,
Sheik M. Mohiuddin, Qiuhua Huang, Tianzhixi Yin, Ankit Singhal
- Abstract要約: 本稿では,ネットワーク化されたマイクログリッドのサイバーレジリエンスを高めるために,フェデレーション強化学習(Fed-RL)手法を提案する。
マルチパーティ所有のネットワークグリッドにおけるデータ共有の問題やプライバシに関する懸念を回避するために,RLエージェントをトレーニングするための新しいFed-RLアルゴリズムを提案する。
提案手法は改良型IEEE 123-busベンチマークシステムの数値例を用いて検証した。
- 参考スコア（独自算出の注目度）: 3.9338764026621758
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a novel federated reinforcement learning (Fed-RL)
methodology to enhance the cyber resiliency of networked microgrids. We
formulate a resilient reinforcement learning (RL) training setup which (a)
generates episodic trajectories injecting adversarial actions at primary
control reference signals of the grid forming (GFM) inverters and (b) trains
the RL agents (or controllers) to alleviate the impact of the injected
adversaries. To circumvent data-sharing issues and concerns for proprietary
privacy in multi-party-owned networked grids, we bring in the aspects of
federated machine learning and propose a novel Fed-RL algorithm to train the RL
agents. To this end, the conventional horizontal Fed-RL approaches using
decoupled independent environments fail to capture the coupled dynamics in a
networked microgrid, which leads us to propose a multi-agent vertically
federated variation of actor-critic algorithms, namely federated soft
actor-critic (FedSAC) algorithm. We created a customized simulation setup
encapsulating microgrid dynamics in the GridLAB-D/HELICS co-simulation platform
compatible with the OpenAI Gym interface for training RL agents. Finally, the
proposed methodology is validated with numerical examples of modified IEEE
123-bus benchmark test systems consisting of three coupled microgrids.
- Abstract（参考訳）: 本稿では,ネットワーク型マイクログリッドのサイバーレジリエンスを高めるための新しいfederated reinforcement learning (fed-rl)手法を提案する。
弾力性強化学習(RL)トレーニングを定式化する。
(a)グリッド形成(gfm)インバータの一次制御基準信号に逆作用を注入するエピソディック軌跡を生成し、
b) RLエージェント(またはコントローラ)を訓練して、注入された敵の影響を軽減する。
マルチパーティ所有のネットワークグリッドにおけるデータ共有の問題とプライバシに関する懸念を回避するため、フェデレーション機械学習の側面を導入し、RLエージェントをトレーニングするための新しいFed-RLアルゴリズムを提案する。
この目的のために,分散独立環境を用いた従来の水平フェデレーションrl手法では,ネットワーク型マイクログリッドの結合ダイナミクスを捉えられず,マルチエージェントの縦型フェデレートアルゴリズムであるfederated soft actor-critic (fedsac) アルゴリズムを提案する。
rlエージェントをトレーニングするためのopenai gymインターフェースと互換性のあるgridlab-d/helics共シミュレーションプラットフォームに,マイクログリッドダイナミクスをカプセル化するカスタムシミュレーションセットアップを作成した。
最後に、提案手法を3つの結合マイクログリッドからなるieee 123-busベンチマークテストシステムの数値例で検証する。
関連論文リスト
- A Multi-Agent Reinforcement Learning Testbed for Cognitive Radio Applications [0.48182159227299676]
RFRL(Radio Frequency Reinforcement Learning)は、将来の無線通信システムにおいて重要な役割を果たす。
本稿では,RFRL Gym環境の更新について概説する。
論文 参考訳（メタデータ） (2024-10-28T20:45:52Z) - Enhancing Spectrum Efficiency in 6G Satellite Networks: A GAIL-Powered Policy Learning via Asynchronous Federated Inverse Reinforcement Learning [67.95280175998792]
ビームフォーミング,スペクトルアロケーション,リモートユーザ機器(RUE)アソシエイトを最適化するために,GAILを利用した新しいポリシー学習手法を提案する。
手動チューニングなしで報酬関数を自動的に学習するために、逆RL(IRL)を用いる。
提案手法は従来のRL手法よりも優れており,コンバージェンスと報酬値の14.6%の改善が達成されている。
論文 参考訳（メタデータ） (2024-09-27T13:05:02Z) - Resilient Control of Networked Microgrids using Vertical Federated
Reinforcement Learning: Designs and Real-Time Test-Bed Validations [5.394255369988441]
本稿では、(a)モデル複雑度、(b)ISRデバイスの未知の動的挙動、(b)マルチパーティ所有のネットワークグリッドにおけるデータ共有に関するプライバシー問題、(2)シミュレーションからハードウェア・イン・ザ・ループテストベッドへの学習制御の移行について、新しいフェデレーション強化学習(Fed-RL)アプローチを提案する。
実験により,シミュレータ学習したRLコントローラは実時間テストベッドのセットアップによる説得力のある結果が得られ,sim-to-realギャップの最小化が検証された。
論文 参考訳（メタデータ） (2023-11-21T00:59:27Z) - Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust
Closed-Loop Control [63.310780486820796]
繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。
パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
論文 参考訳（メタデータ） (2023-10-05T21:44:18Z) - Learning to Sail Dynamic Networks: The MARLIN Reinforcement Learning
Framework for Congestion Control in Tactical Environments [53.08686495706487]
本稿では, 正確な並列化可能なエミュレーション環境を利用して, 戦術ネットワークの環境を再現するRLフレームワークを提案する。
衛星通信(SATCOM)とUHFワイドバンド(UHF)の無線リンク間のボトルネックリンク遷移を再現した条件下で、MARLINエージェントを訓練することにより、我々のRL学習フレームワークを評価する。
論文 参考訳（メタデータ） (2023-06-27T16:15:15Z) - Semantic-Aware Collaborative Deep Reinforcement Learning Over Wireless
Cellular Networks [82.02891936174221]
複数のエージェントが無線ネットワーク上で協調できるコラボレーティブディープ強化学習(CDRL)アルゴリズムは有望なアプローチである。
本稿では,リソース制約のある無線セルネットワーク上で,意味的にリンクされたDRLタスクを持つ未学習エージェントのグループを効率的に協調させる,新しい意味認識型CDRL手法を提案する。
論文 参考訳（メタデータ） (2021-11-23T18:24:47Z) - Federated Ensemble Model-based Reinforcement Learning in Edge Computing [21.840086997141498]
フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための分散機械学習パラダイムである。
モデルベースRLとアンサンブル知識蒸留をFLに効果的に組み込む新しいFRLアルゴリズムを提案する。
具体的には、FLと知識蒸留を利用して、クライアント向けの動的モデルのアンサンブルを作成し、環境と相互作用することなく、単にアンサンブルモデルを使用することでポリシーを訓練する。
論文 参考訳（メタデータ） (2021-09-12T16:19:10Z) - Collision-Free Flocking with a Dynamic Squad of Fixed-Wing UAVs Using
Deep Reinforcement Learning [2.555094847583209]
深層強化学習(DRL)による分散型リーダ・フォロワリング制御問題に対処する。
我々は,すべてのフォロワーに対して共有制御ポリシーを学習するための新しい強化学習アルゴリズムCACER-IIを提案する。
その結果、可変長系状態を固定長埋め込みベクトルに符号化することができ、学習されたDRLポリシーをフォロワーの数や順序と独立にすることができる。
論文 参考訳（メタデータ） (2021-01-20T11:23:35Z) - Reconfigurable Intelligent Surface Assisted Mobile Edge Computing with
Heterogeneous Learning Tasks [53.1636151439562]
モバイルエッジコンピューティング(MEC)は、AIアプリケーションに自然なプラットフォームを提供します。
再構成可能なインテリジェントサーフェス(RIS)の助けを借りて、MECで機械学習タスクを実行するインフラストラクチャを提示します。
具体的には,モバイルユーザの送信パワー,基地局のビームフォーミングベクトル,risの位相シフト行列を共同で最適化することにより,参加ユーザの学習誤差を最小化する。
論文 参考訳（メタデータ） (2020-12-25T07:08:50Z) - A Compressive Sensing Approach for Federated Learning over Massive MIMO
Communication Systems [82.2513703281725]
フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。
本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
論文 参考訳（メタデータ） (2020-03-18T05:56:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。