論文の概要: Improving Robustness of Reinforcement Learning for Power System Control with Adversarial Training

• arxiv url: http://arxiv.org/abs/2110.08956v2
• Date: Tue, 19 Oct 2021 01:43:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-20 12:15:29.876506
• Title: Improving Robustness of Reinforcement Learning for Power System Control with Adversarial Training
• Title（参考訳）: 対向訓練による電力系統制御のための強化学習のロバスト性向上
• Authors: Alexander Pan, Yongkyun Lee, Huan Zhang, Yize Chen, Yuanyuan Shi
• Abstract要約: 電力系統制御のために提案された最先端のRLエージェントが敵攻撃に対して脆弱であることを示す。 具体的には、敵のマルコフ決定プロセスを用いて攻撃方針を学習し、攻撃の有効性を実証する。 本稿では,RLエージェントの攻撃に対する堅牢性を高め,実行不可能な運用上の決定を回避するために,敵の訓練を利用することを提案する。
• 参考スコア（独自算出の注目度）: 71.7750435554693
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Due to the proliferation of renewable energy and its intrinsic intermittency and stochasticity, current power systems face severe operational challenges. Data-driven decision-making algorithms from reinforcement learning (RL) offer a solution towards efficiently operating a clean energy system. Although RL algorithms achieve promising performance compared to model-based control models, there has been limited investigation of RL robustness in safety-critical physical systems. In this work, we first show that several competition-winning, state-of-the-art RL agents proposed for power system control are vulnerable to adversarial attacks. Specifically, we use an adversary Markov Decision Process to learn an attack policy, and demonstrate the potency of our attack by successfully attacking multiple winning agents from the Learning To Run a Power Network (L2RPN) challenge, under both white-box and black-box attack settings. We then propose to use adversarial training to increase the robustness of RL agent against attacks and avoid infeasible operational decisions. To the best of our knowledge, our work is the first to highlight the fragility of grid control RL algorithms, and contribute an effective defense scheme towards improving their robustness and security.
• Abstract（参考訳）: 再生可能エネルギーの増殖と本質的な断続性と確率性により、現在の電力システムは厳しい運用上の課題に直面している。 データ駆動による強化学習(RL)による意思決定アルゴリズムはクリーンエネルギーシステムを効率的に運用するためのソリューションを提供する。 rlアルゴリズムはモデルベースの制御モデルと比較して有望な性能を発揮するが、安全性クリティカルな物理システムにおけるrlの堅牢性に関する調査は限られている。 本研究では,電力系統制御のために提案された競争に勝る最先端のRLエージェントが,敵攻撃に対して脆弱であることを示す。 具体的には,攻撃方針を学習するために敵対的マルコフ決定プロセスを使用し,ホワイトボックスおよびブラックボックス攻撃設定下で,学習から複数の勝利エージェントを攻撃し,パワーネットワーク(l2rpn)チャレンジを実行することにより,攻撃の威力を示す。 次に,RLエージェントの攻撃に対する堅牢性を高め,実行不可能な運用上の決定を回避するために,敵の訓練を利用することを提案する。 我々の知る限り、我々の研究はグリッド制御RLアルゴリズムの脆弱性を初めて強調し、その堅牢性とセキュリティを改善するための効果的な防御スキームに貢献する。

関連論文リスト

• Beyond CAGE: Investigating Generalization of Learned Autonomous Network Defense Policies [0.8785883427835897]
  本研究は,CAGEチャレンジの第2版で実施された強化学習アプローチを評価する。 アンサンブルRL技術は,我々の他のモデルより優れ,競争において第2位である。 目に見えない環境では、我々のアプローチはすべて悪化し、環境の変化のタイプによって様々な劣化が生じます。
  論文  参考訳（メタデータ） (2022-11-28T17:01:24Z)
• Training and Evaluation of Deep Policies using Reinforcement Learning and Generative Models [67.78935378952146]
  GenRLはシーケンシャルな意思決定問題を解決するためのフレームワークである。 強化学習と潜在変数生成モデルの組み合わせを利用する。 最終方針訓練の性能に最も影響を与える生成モデルの特徴を実験的に決定する。
  論文  参考訳（メタデータ） (2022-04-18T22:02:32Z)
• Curriculum Based Reinforcement Learning of Grid Topology Controllers to Prevent Thermal Cascading [0.19116784879310028]
  本稿では,電力系統演算子のドメイン知識を強化学習フレームワークに統合する方法について述べる。 環境を改良することにより、報酬チューニングを伴うカリキュラムベースのアプローチをトレーニング手順に組み込む。 複数のシナリオに対する並列トレーニングアプローチは、エージェントをいくつかのシナリオに偏りなくし、グリッド操作の自然変動に対して堅牢にするために使用される。
  論文  参考訳（メタデータ） (2021-12-18T20:32:05Z)
• A Practical Adversarial Attack on Contingency Detection of Smart Energy Systems [0.0]
  本稿では,エネルギーシステムの動的制御を実質的に損なうことのできる,革新的な敵攻撃モデルを提案する。 また、深層強化学習(RL)技術を用いて、提案した敵攻撃モデルの展開を最適化する。
  論文  参考訳（メタデータ） (2021-09-13T23:11:56Z)
• Robust Reinforcement Learning on State Observations with Learned Optimal Adversary [86.0846119254031]
  逆摂動状態観測による強化学習の堅牢性について検討した。 固定されたエージェントポリシーでは、摂動状態の観測に最適な敵を見つけることができる。 DRLの設定では、これは以前のものよりもはるかに強い学習された敵対を介してRLエージェントに新しい経験的敵対攻撃につながります。
  論文  参考訳（メタデータ） (2021-01-21T05:38:52Z)
• Rethink AI-based Power Grid Control: Diving Into Algorithm Design [6.194042945960622]
  本稿では、アルゴリズム選択、状態空間表現、および報酬工学の側面からDRLベースの電圧制御の詳細な分析について述べる。 本稿では,電力グリッドの動作点を直接効果的な動作にマッピングする模倣学習に基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-12-23T23:38:41Z)
• Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
  近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。 敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:49:42Z)
• Robust Deep Reinforcement Learning against Adversarial Perturbations on State Observations [88.94162416324505]
  深部強化学習(DRL)エージェントは、自然な測定誤差や対向雑音を含む観測を通して、その状態を観察する。 観測は真の状態から逸脱するので、エージェントを誤解させ、準最適行動を起こすことができる。 本研究は, 従来の手法を, 対人訓練などの分類タスクの堅牢性向上に応用することは, 多くのRLタスクには有効でないことを示す。
  論文  参考訳（メタデータ） (2020-03-19T17:59:59Z)
• Challenges and Countermeasures for Adversarial Attacks on Deep Reinforcement Learning [48.49658986576776]
  深層強化学習(Dep Reinforcement Learning, DRL)は、周囲の環境に適応する優れた能力のおかげで、現実世界に多くの応用がある。 その大きな利点にもかかわらず、DRLは現実のクリティカルシステムやアプリケーションでの使用を妨げている敵攻撃の影響を受けやすい。 本稿では,DRLベースのシステムにおける新たな攻撃と,これらの攻撃を防御するための潜在的対策について述べる。
  論文  参考訳（メタデータ） (2020-01-27T10:53:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。