論文の概要: A Novel Bifurcation Method for Observation Perturbation Attacks on Reinforcement Learning Agents: Load Altering Attacks on a Cyber Physical Power System
- arxiv url: http://arxiv.org/abs/2407.05182v1
- Date: Sat, 6 Jul 2024 20:55:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 20:46:54.667503
- Title: A Novel Bifurcation Method for Observation Perturbation Attacks on Reinforcement Learning Agents: Load Altering Attacks on a Cyber Physical Power System
- Title（参考訳）: 強化学習エージェントにおける観測摂動攻撃の新しい分岐法:サイバー物理システムにおける負荷変動攻撃
- Authors: Kiernan Broda-Milian, Ranwa Al-Mallah, Hanane Dagdougui,
- Abstract要約: 本研究は,分岐層を用いたグループ差分ロジッツ損失を用いた連続制御のための新しい攻撃手法を提案する。
現実的なスマートエネルギー環境における強力な勾配に基づく攻撃の影響を実証する。
- 参考スコア（独自算出の注目度）: 1.7887848708497243
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Components of cyber physical systems, which affect real-world processes, are often exposed to the internet. Replacing conventional control methods with Deep Reinforcement Learning (DRL) in energy systems is an active area of research, as these systems become increasingly complex with the advent of renewable energy sources and the desire to improve their efficiency. Artificial Neural Networks (ANN) are vulnerable to specific perturbations of their inputs or features, called adversarial examples. These perturbations are difficult to detect when properly regularized, but have significant effects on the ANN's output. Because DRL uses ANN to map optimal actions to observations, they are similarly vulnerable to adversarial examples. This work proposes a novel attack technique for continuous control using Group Difference Logits loss with a bifurcation layer. By combining aspects of targeted and untargeted attacks, the attack significantly increases the impact compared to an untargeted attack, with drastically smaller distortions than an optimally targeted attack. We demonstrate the impacts of powerful gradient-based attacks in a realistic smart energy environment, show how the impacts change with different DRL agents and training procedures, and use statistical and time-series analysis to evaluate attacks' stealth. The results show that adversarial attacks can have significant impacts on DRL controllers, and constraining an attack's perturbations makes it difficult to detect. However, certain DRL architectures are far more robust, and robust training methods can further reduce the impact.
- Abstract（参考訳）: 現実世界のプロセスに影響を与えるサイバー物理システムのコンポーネントは、しばしばインターネットに露出する。
エネルギーシステムの深部強化学習(DRL)による従来の制御手法の置き換えは、再生可能エネルギー源の出現と効率向上への欲求により、これらのシステムがますます複雑化するにつれて、研究の活発な領域である。
人工ニューラルネットワーク(ANN)は、敵対的な例と呼ばれる、入力や特徴の特定の摂動に対して脆弱である。
これらの摂動は、適切に正規化されたときに検出することは困難であるが、ANNの出力に重大な影響を及ぼす。
DRLは観測に最適な動作をマッピングするためにANNを使用しているため、同様に敵の例にも弱い。
本研究は,分岐層を用いたグループ差分ロジッツ損失を用いた連続制御のための新しい攻撃手法を提案する。
標的攻撃と未目標攻撃の側面を組み合わせることで、この攻撃は未目標攻撃と比較して影響を著しく増加させ、最適目標攻撃よりも大幅に歪みを小さくする。
我々は、現実的なスマートエネルギー環境における強力な勾配に基づく攻撃の影響を実証し、異なるDRLエージェントとトレーニング手順による影響がどのように変化するかを示し、統計的および時系列分析を用いて攻撃のステルスを評価する。
その結果、敵の攻撃はDRLコントローラに大きな影響を及ぼし、攻撃の摂動を制限することは、検出を困難にしていることがわかった。
しかしながら、一部のDRLアーキテクチャはより堅牢であり、堅牢なトレーニング手法は影響をさらに減らすことができる。
関連論文リスト
- Attack Anything: Blind DNNs via Universal Background Adversarial Attack [17.73886733971713]
ディープニューラルネットワーク(DNN)は、敵の摂動に感受性があり、弱いことが広く実証されている。
本稿では,攻撃効果を多種多様な対象,モデル,タスク間でよく一般化する,攻撃の背景攻撃フレームワークを提案する。
我々は,様々な対象,モデル,タスクにまたがるデジタルドメインと物理ドメインの両方において,包括的かつ厳密な実験を行い,提案手法のあらゆる攻撃の有効性を実証した。
論文 参考訳（メタデータ） (2024-08-17T12:46:53Z) - Multi-agent Reinforcement Learning-based Network Intrusion Detection System [3.4636217357968904]
侵入検知システム(IDS)は,コンピュータネットワークのセキュリティ確保において重要な役割を担っている。
本稿では,自動,効率的,堅牢なネットワーク侵入検出が可能な,新しいマルチエージェント強化学習(RL)アーキテクチャを提案する。
我々のソリューションは、新しい攻撃の追加に対応し、既存の攻撃パターンの変更に効果的に適応するように設計されたレジリエントなアーキテクチャを導入します。
論文 参考訳（メタデータ） (2024-07-08T09:18:59Z) - Downlink Power Allocation in Massive MIMO via Deep Learning: Adversarial
Attacks and Training [62.77129284830945]
本稿では,無線環境における回帰問題を考察し,敵攻撃がDLベースのアプローチを損なう可能性があることを示す。
また,攻撃に対するDLベースの無線システムの堅牢性が著しく向上することを示す。
論文 参考訳（メタデータ） (2022-06-14T04:55:11Z) - Improving Robustness of Reinforcement Learning for Power System Control
with Adversarial Training [71.7750435554693]
電力系統制御のために提案された最先端のRLエージェントが敵攻撃に対して脆弱であることを示す。
具体的には、敵のマルコフ決定プロセスを用いて攻撃方針を学習し、攻撃の有効性を実証する。
本稿では,RLエージェントの攻撃に対する堅牢性を高め,実行不可能な運用上の決定を回避するために,敵の訓練を利用することを提案する。
論文 参考訳（メタデータ） (2021-10-18T00:50:34Z) - A Practical Adversarial Attack on Contingency Detection of Smart Energy
Systems [0.0]
本稿では,エネルギーシステムの動的制御を実質的に損なうことのできる,革新的な敵攻撃モデルを提案する。
また、深層強化学習(RL)技術を用いて、提案した敵攻撃モデルの展開を最適化する。
論文 参考訳（メタデータ） (2021-09-13T23:11:56Z) - Disturbing Reinforcement Learning Agents with Corrupted Rewards [62.997667081978825]
強化学習アルゴリズムに対する報酬の摂動に基づく異なる攻撃戦略の効果を分析します。
敵対的な報酬をスムーズに作成することは学習者を誤解させることができ、低探査確率値を使用すると、学習した政策は報酬を腐敗させるのがより堅牢であることを示しています。
論文 参考訳（メタデータ） (2021-02-12T15:53:48Z) - Curse or Redemption? How Data Heterogeneity Affects the Robustness of
Federated Learning [51.15273664903583]
データの不均一性は、フェデレートラーニングにおける重要な特徴の1つとして認識されているが、しばしば敵対的攻撃に対する堅牢性のレンズで見過ごされる。
本稿では, 複合学習におけるバックドア攻撃の影響を, 総合的な実験を通じて評価し, 理解することを目的とした。
論文 参考訳（メタデータ） (2021-02-01T06:06:21Z) - Stealthy and Efficient Adversarial Attacks against Deep Reinforcement
Learning [30.46580767540506]
本稿では,Deep Reinforcement Learning Agentを効果的かつ効果的に攻撃するための2つの新しい敵攻撃手法を紹介する。
敵は将来の環境状態とエージェントの行動を予測するモデルを構築し、それぞれの攻撃戦略の損傷を評価し、最適な攻撃方法を選択する。
敵は自動的にドメインに依存しないモデルを学び、エピソード中のエージェントを攻撃する重要な瞬間を発見する。
論文 参考訳（メタデータ） (2020-05-14T16:06:38Z) - Learn2Perturb: an End-to-end Feature Perturbation Learning to Improve
Adversarial Robustness [79.47619798416194]
Learn2Perturbは、ディープニューラルネットワークの対角的堅牢性を改善するために、エンドツーエンドの機能摂動学習アプローチである。
予測最大化にインスパイアされ、ネットワークと雑音パラメータを連続的にトレーニングするために、交互にバックプロパゲーショントレーニングアルゴリズムが導入された。
論文 参考訳（メタデータ） (2020-03-02T18:27:35Z) - Challenges and Countermeasures for Adversarial Attacks on Deep
Reinforcement Learning [48.49658986576776]
深層強化学習(Dep Reinforcement Learning, DRL)は、周囲の環境に適応する優れた能力のおかげで、現実世界に多くの応用がある。
その大きな利点にもかかわらず、DRLは現実のクリティカルシステムやアプリケーションでの使用を妨げている敵攻撃の影響を受けやすい。
本稿では,DRLベースのシステムにおける新たな攻撃と,これらの攻撃を防御するための潜在的対策について述べる。
論文 参考訳（メタデータ） (2020-01-27T10:53:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。