Fugu-MT 論文翻訳(概要): Resilient Control of Networked Microgrids using Vertical Federated Reinforcement Learning: Designs and Real-Time Test-Bed Validations

論文の概要: Resilient Control of Networked Microgrids using Vertical Federated Reinforcement Learning: Designs and Real-Time Test-Bed Validations

arxiv url: http://arxiv.org/abs/2311.12264v1
Date: Tue, 21 Nov 2023 00:59:27 GMT
ステータス: 処理完了
システム内更新日: 2023-11-23 02:32:02.321193
Title: Resilient Control of Networked Microgrids using Vertical Federated Reinforcement Learning: Designs and Real-Time Test-Bed Validations
Title（参考訳）: 縦型強化学習を用いたネットワークマイクログリッドの弾力性制御:設計と実時間テストベッド検証
Authors: Sayak Mukherjee, Ramij R. Hossain, Sheik M. Mohiuddin, Yuan Liu, Wei Du, Veronica Adetola, Rohit A. Jinsiwale, Qiuhua Huang, Tianzhixi Yin, Ankit Singhal
Abstract要約: 本稿では、(a)モデル複雑度、(b)ISRデバイスの未知の動的挙動、(b)マルチパーティ所有のネットワークグリッドにおけるデータ共有に関するプライバシー問題、(2)シミュレーションからハードウェア・イン・ザ・ループテストベッドへの学習制御の移行について、新しいフェデレーション強化学習(Fed-RL)アプローチを提案する。実験により,シミュレータ学習したRLコントローラは実時間テストベッドのセットアップによる説得力のある結果が得られ,sim-to-realギャップの最小化が検証された。
参考スコア（独自算出の注目度）: 5.394255369988441
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Improving system-level resiliency of networked microgrids is an important aspect with increased population of inverter-based resources (IBRs). This paper (1) presents resilient control design in presence of adversarial cyber-events, and proposes a novel federated reinforcement learning (Fed-RL) approach to tackle (a) model complexities, unknown dynamical behaviors of IBR devices, (b) privacy issues regarding data sharing in multi-party-owned networked grids, and (2) transfers learned controls from simulation to hardware-in-the-loop test-bed, thereby bridging the gap between simulation and real world. With these multi-prong objectives, first, we formulate a reinforcement learning (RL) training setup generating episodic trajectories with adversaries (attack signal) injected at the primary controllers of the grid forming (GFM) inverters where RL agents (or controllers) are being trained to mitigate the injected attacks. For networked microgrids, the horizontal Fed-RL method involving distinct independent environments is not appropriate, leading us to develop vertical variant Federated Soft Actor-Critic (FedSAC) algorithm to grasp the interconnected dynamics of networked microgrid. Next, utilizing OpenAI Gym interface, we built a custom simulation set-up in GridLAB-D/HELICS co-simulation platform, named Resilient RL Co-simulation (ResRLCoSIM), to train the RL agents with IEEE 123-bus benchmark test systems comprising 3 interconnected microgrids. Finally, the learned policies in simulation world are transferred to the real-time hardware-in-the-loop test-bed set-up developed using high-fidelity Hypersim platform. Experiments show that the simulator-trained RL controllers produce convincing results with the real-time test-bed set-up, validating the minimization of sim-to-real gap.
Abstract（参考訳）: ネットワーク型マイクログリッドのシステムレベルのレジリエンス向上は、インバータベースリソース(ibr)の増加と共に重要な側面である。本論文は,サイバーイベントの有無でレジリエントな制御設計を提案するとともに,新しいfederated reinforcement learning (fed-rl) アプローチを提案する。 (a)モデル複雑度、ibrデバイスの未知の動的挙動、 b)マルチパーティのネットワークグリッドにおけるデータ共有に関するプライバシー問題,(2)シミュレーションからハードウェア・イン・ザ・ループテストベッドへの学習制御の移行により,シミュレーションと実世界のギャップを埋める。これらの多目的により、まず、RLエージェント(またはコントローラ)が誘導攻撃を緩和するために訓練されているグリッド形成(GFM)インバータの一次コントローラに、敵(攻撃信号)を注入したエピソード軌道を生成する強化学習(RL)トレーニング設定を定式化する。ネットワーク型マイクログリッドの場合,異なる独立環境を含む水平型Fed-RL法は適切ではないため,ネットワーク型マイクログリッドの相互接続特性を把握するために,垂直変種Federated Soft Actor-Critic (FedSAC) アルゴリズムを開発した。次に,OpenAI Gymインタフェースを用いて,Resilient RL Co-simulation (ResRLCoSIM)と呼ばれるGridLAB-D/HELICSコシミュレーションプラットフォームに独自のシミュレーションセットを構築し,3つの相互接続マイクログリッドからなるIEEE 123-busベンチマークテストシステムを用いてRLエージェントをトレーニングした。最後に、シミュレーションの世界における学習ポリシーは、高忠実度Hypersimプラットフォームを用いて開発されたリアルタイムハードウェアインザループテストベッドセットに転送される。実験により,シミュレータ学習したRLコントローラは実時間テストベッドのセットアップによる説得力のある結果が得られ,sim-to-realギャップの最小化が検証された。

関連論文リスト

A Multi-Agent Reinforcement Learning Testbed for Cognitive Radio Applications [0.48182159227299676]
RFRL(Radio Frequency Reinforcement Learning)は、将来の無線通信システムにおいて重要な役割を果たす。本稿では,RFRL Gym環境の更新について概説する。
論文参考訳（メタデータ） (2024-10-28T20:45:52Z)
The Power of Resets in Online Reinforcement Learning [73.64852266145387]
ローカルシミュレータアクセス(あるいはローカルプランニング)を用いたオンライン強化学習を通してシミュレータのパワーを探求する。カバー性が低いMPPは,Qstar$-realizabilityのみのサンプル効率で学習可能であることを示す。ローカルシミュレーターアクセス下では, 悪名高いExogenous Block MDP問題が抽出可能であることを示す。
論文参考訳（メタデータ） (2024-04-23T18:09:53Z)
RIS-empowered Topology Control for Distributed Learning in Urban Air Mobility [35.04722426910211]
アーバン・エアモビリティ(UAM)は、輸送システムの革命として想定される、地上から地上に近い空間に車両を拡大する。この課題を克服するために、リソース制限されたデバイスが協調的に深層学習(DL)を行うことを可能にするために、フェデレーション・ラーニング(FL)や他の協調学習が提案されている。本稿では,分散学習を支援する再構成可能なインテリジェントサーフェス (RIS) について検討する。
論文参考訳（メタデータ） (2024-03-08T08:05:50Z)
Effective Intrusion Detection in Heterogeneous Internet-of-Things Networks via Ensemble Knowledge Distillation-based Federated Learning [52.6706505729803]
我々は、分散化された侵入検知システムの共有モデル(IDS)を協調訓練するために、フェデレートラーニング(FL)を導入する。 FLEKDは従来のモデル融合法よりも柔軟な凝集法を実現する。実験の結果,提案手法は,速度と性能の両面で,局所訓練と従来のFLよりも優れていた。
論文参考訳（メタデータ） (2024-01-22T14:16:37Z)
Learning to Fly in Seconds [7.259696592534715]
カリキュラム学習と高度に最適化されたシミュレータが,サンプルの複雑さを増し,学習時間の短縮につながることを示す。我々のフレームワークは、コンシューマ級ラップトップで18秒のトレーニングをした後、直接制御するためのSimulation-to-Real(Sim2Real)転送を可能にする。
論文参考訳（メタデータ） (2023-11-22T01:06:45Z)
Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文参考訳（メタデータ） (2023-10-04T03:32:39Z)
In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD [51.04126395480625]
近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
論文参考訳（メタデータ） (2023-06-22T14:07:54Z)
Enhancing Cyber Resilience of Networked Microgrids using Vertical Federated Reinforcement Learning [3.9338764026621758]
本稿では,ネットワーク化されたマイクログリッドのサイバーレジリエンスを高めるために,フェデレーション強化学習(Fed-RL)手法を提案する。マルチパーティ所有のネットワークグリッドにおけるデータ共有の問題やプライバシに関する懸念を回避するために,RLエージェントをトレーニングするための新しいFed-RLアルゴリズムを提案する。提案手法は改良型IEEE 123-busベンチマークシステムの数値例を用いて検証した。
論文参考訳（メタデータ） (2022-12-17T22:56:02Z)
Sim2real for Reinforcement Learning Driven Next Generation Networks [4.29590751118341]
Reinforcement Learning (RL) モデルは、RAN関連多目的最適化問題の解決の鍵と見なされている。主な理由の1つはシミュレーションと実環境の間のモデリングギャップであり、RLエージェントは実環境に不適合なシミュレーションによって訓練される可能性がある。この記事では、Open RAN(O-RAN)のコンテキストにおけるsim2realチャレンジについて述べます。実環境におけるシミュレーション訓練されたRLモデルの障害モードを実証し、実証するために、いくつかのユースケースが提示される。
論文参考訳（メタデータ） (2022-06-08T12:40:24Z)
Model-based Deep Learning Receiver Design for Rate-Splitting Multiple Access [65.21117658030235]
本研究では,モデルベース深層学習(MBDL)に基づく実用的なRSMA受信機の設計を提案する。 MBDL受信機は、符号なしシンボル誤り率(SER)、リンクレベルシミュレーション(LLS)によるスループット性能、平均トレーニングオーバーヘッドの観点から評価される。その結果,MBDLはCSIRが不完全なSIC受信機よりも優れていた。
論文参考訳（メタデータ） (2022-05-02T12:23:55Z)
A Compressive Sensing Approach for Federated Learning over Massive MIMO Communication Systems [82.2513703281725]
フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
論文参考訳（メタデータ） (2020-03-18T05:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。