論文の概要: Robust Defense Against Extreme Grid Events Using Dual-Policy Reinforcement Learning Agents

• arxiv url: http://arxiv.org/abs/2411.11180v1
• Date: Sun, 17 Nov 2024 21:30:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:32:03.816646
• Title: Robust Defense Against Extreme Grid Events Using Dual-Policy Reinforcement Learning Agents
• Title（参考訳）: Dual-Policy Reinforcement Learning Agents を用いた極端グリッドイベントに対するロバスト防御
• Authors: Benjamin M. Peter, Mert Korkali,
• Abstract要約: 強化学習(RL)エージェントは電力グリッドを管理する強力なツールである。 大量のデータを使ってアクションを通知し、フィードバックとして報酬を受け取り、システムに対して好意的な反応を学習する。 この能力は、RL剤の需要が増加している電力ネットワークの脱炭に特に有用である。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Reinforcement learning (RL) agents are powerful tools for managing power grids. They use large amounts of data to inform their actions and receive rewards or penalties as feedback to learn favorable responses for the system. Once trained, these agents can efficiently make decisions that would be too computationally complex for a human operator. This ability is especially valuable in decarbonizing power networks, where the demand for RL agents is increasing. These agents are well suited to control grid actions since the action space is constantly growing due to uncertainties in renewable generation, microgrid integration, and cybersecurity threats. To assess the efficacy of RL agents in response to an adverse grid event, we use the Grid2Op platform for agent training. We employ a proximal policy optimization (PPO) algorithm in conjunction with graph neural networks (GNNs). By simulating agents' responses to grid events, we assess their performance in avoiding grid failure for as long as possible. The performance of an agent is expressed concisely through its reward function, which helps the agent learn the most optimal ways to reconfigure a grid's topology amidst certain events. To model multi-actor scenarios that threaten modern power networks, particularly those resulting from cyberattacks, we integrate an opponent that acts iteratively against a given agent. This interplay between the RL agent and opponent is utilized in N-k contingency screening, providing a novel alternative to the traditional security assessment.
• Abstract（参考訳）: 強化学習(RL)エージェントは電力グリッドを管理する強力なツールである。 大量のデータを使ってアクションを知らせ、報酬や罰則を受け取ったり、システムに対する適切な反応を学習したりします。 一度訓練すると、これらのエージェントは人間のオペレーターにとって計算に複雑すぎる決定を効率的に行うことができる。 この能力は、RL剤の需要が増加している電力ネットワークの脱炭に特に有用である。 これらのエージェントは、再生可能エネルギーの生成の不確実性、マイクログリッドの統合、サイバーセキュリティの脅威により、アクション空間が絶えず成長しているため、グリッドアクションを制御するのに適している。 逆グリッドイベントに対するRLエージェントの有効性を評価するため,エージェントトレーニングにはGrid2Opプラットフォームを用いる。 本稿では,グラフニューラルネットワーク(GNN)と協調して,PPOアルゴリズムを用いる。 グリッドイベントに対するエージェントの応答をシミュレートすることで、グリッド障害を回避する上での性能を可能な限り評価する。 エージェントのパフォーマンスは報酬関数を通じて簡潔に表現され、特定のイベントの中でグリッドのトポロジを再構成する最も最適な方法を学ぶのに役立つ。 現代の電力ネットワーク、特にサイバー攻撃による脅威を脅かすマルチアクターシナリオをモデル化するために、我々は、与えられたエージェントに対して反復的に行動する相手を統合する。 このRLエージェントと相手との相互作用は、従来のセキュリティアセスメントに代わる新しい代替手段として、N-k整合スクリーニングに利用される。

関連論文リスト

• Imitation Learning for Intra-Day Power Grid Operation through Topology Actions [0.24578723416255752]
  本研究では、トポロジ的動作による日頭電力グリッド動作における模倣学習の性能について検討する。 我々は、専門家のステートアクションペアに完全接続ニューラルネットワーク(FCNN)をトレーニングし、それを2つの方法で評価する。 パワーシステムエージェントとして、FCNNは専門家エージェントよりもわずかに劣っている。
  論文  参考訳（メタデータ） (2024-07-29T10:34:19Z)
• Toward Optimal LLM Alignments Using Two-Player Games [86.39338084862324]
  本稿では,対戦相手と防御エージェントの反復的相互作用を含む2エージェントゲームのレンズによるアライメントについて検討する。 この反復的強化学習最適化がエージェントによって誘導されるゲームに対するナッシュ平衡に収束することを理論的に実証する。 安全シナリオにおける実験結果から、このような競争環境下での学習は、完全に訓練するエージェントだけでなく、敵エージェントと防御エージェントの両方に対する一般化能力の向上したポリシーにつながることが示されている。
  論文  参考訳（メタデータ） (2024-06-16T15:24:50Z)
• Towards Autonomous Cyber Operation Agents: Exploring the Red Case [3.805031560408777]
  強化・深部強化学習(RL/DRL)がサイバーネットワーク運用のための自律エージェントの開発に応用されている(CyOps)。 トレーニング環境は、エージェントが学び、達成することを目的とした、高い忠実度でCyOpsをシミュレートする必要があります。 優れたシミュレータは、サイバー環境の極端な複雑さのために達成し難い。
  論文  参考訳（メタデータ） (2023-09-05T13:56:31Z)
• Graph Neural Networks for Decentralized Multi-Agent Perimeter Defense [111.9039128130633]
  我々は,防御者の地域認識とコミュニケーショングラフから行動へのマッピングを学習する模倣学習フレームワークを開発した。 学習ネットワークの性能を実証するために、異なるチームサイズと構成のシナリオで周辺防衛ゲームを実行します。
  論文  参考訳（メタデータ） (2023-01-23T19:35:59Z)
• Curriculum Based Reinforcement Learning of Grid Topology Controllers to Prevent Thermal Cascading [0.19116784879310028]
  本稿では,電力系統演算子のドメイン知識を強化学習フレームワークに統合する方法について述べる。 環境を改良することにより、報酬チューニングを伴うカリキュラムベースのアプローチをトレーニング手順に組み込む。 複数のシナリオに対する並列トレーニングアプローチは、エージェントをいくつかのシナリオに偏りなくし、グリッド操作の自然変動に対して堅牢にするために使用される。
  論文  参考訳（メタデータ） (2021-12-18T20:32:05Z)
• Autonomous Attack Mitigation for Industrial Control Systems [25.894883701063055]
  サイバー攻撃からコンピュータネットワークを守るには、警告や脅威情報に対するタイムリーな対応が必要である。 本稿では,大規模産業制御ネットワークにおける自律応答と回復に対する深層強化学習手法を提案する。
  論文  参考訳（メタデータ） (2021-11-03T18:08:06Z)
• Improving Robustness of Reinforcement Learning for Power System Control with Adversarial Training [71.7750435554693]
  電力系統制御のために提案された最先端のRLエージェントが敵攻撃に対して脆弱であることを示す。 具体的には、敵のマルコフ決定プロセスを用いて攻撃方針を学習し、攻撃の有効性を実証する。 本稿では,RLエージェントの攻撃に対する堅牢性を高め,実行不可能な運用上の決定を回避するために,敵の訓練を利用することを提案する。
  論文  参考訳（メタデータ） (2021-10-18T00:50:34Z)
• Explore and Control with Adversarial Surprise [78.41972292110967]
  強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。 本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。 本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
  論文  参考訳（メタデータ） (2021-07-12T17:58:40Z)
• Offline-to-Online Reinforcement Learning via Balanced Replay and Pessimistic Q-Ensemble [135.6115462399788]
  深いオフライン強化学習により、オフラインデータセットから強力なロボットエージェントをトレーニングすることが可能になった。 状態-作用分布シフトは、微調整中に厳しいブートストラップエラーを引き起こす可能性がある。 本稿では,オンライン上で遭遇したサンプルを優先しながら,ほぼ政治的なサンプルの使用を奨励するバランスの取れたリプレイ方式を提案する。
  論文  参考訳（メタデータ） (2021-07-01T16:26:54Z)
• Hybrid Imitation Learning for Real-Time Service Restoration in Resilient Distribution Systems [4.634828363888443]
  自己修復能力は、レジリエントな分散システムにとって最も重要な要素の1つである。 これらのエージェントは、リアルタイムの要件を満たすために事前に設計された決定ポリシーを備えるべきである。 本稿では,そのような政策を訓練するための模倣学習(IL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-29T22:51:05Z)
• Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
  近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。 敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:49:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。