論文の概要: Robustifying Reinforcement Learning Agents via Action Space Adversarial
Training
- arxiv url: http://arxiv.org/abs/2007.07176v1
- Date: Tue, 14 Jul 2020 16:50:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-11-10 13:48:02.316395
- Title: Robustifying Reinforcement Learning Agents via Action Space Adversarial
Training
- Title（参考訳）: 行動空間対応訓練による強化学習エージェントの強固化
- Authors: Kai Liang Tan, Yasaman Esfandiari, Xian Yeow Lee, Aakanksha, Soumik
Sarkar
- Abstract要約: 機械学習(ML)を応用したサイバー物理システム(CPS)の採用は、現代社会の様々な分野に広まっている。
深層強化学習(DRL)の最近の研究は、様々なデータ駆動型意思決定と制御アプリケーションにおいてその利点を実証している。
動作空間摂動の影響を受けやすいDRLエージェントを, 対向訓練により, 同様の摂動に対して堅牢化できることを示す。
- 参考スコア（独自算出の注目度）: 23.284452331353894
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adoption of machine learning (ML)-enabled cyber-physical systems (CPS) are
becoming prevalent in various sectors of modern society such as transportation,
industrial, and power grids. Recent studies in deep reinforcement learning
(DRL) have demonstrated its benefits in a large variety of data-driven
decisions and control applications. As reliance on ML-enabled systems grows, it
is imperative to study the performance of these systems under malicious state
and actuator attacks. Traditional control systems employ
resilient/fault-tolerant controllers that counter these attacks by correcting
the system via error observations. However, in some applications, a resilient
controller may not be sufficient to avoid a catastrophic failure. Ideally, a
robust approach is more useful in these scenarios where a system is inherently
robust (by design) to adversarial attacks. While robust control has a long
history of development, robust ML is an emerging research area that has already
demonstrated its relevance and urgency. However, the majority of robust ML
research has focused on perception tasks and not on decision and control tasks,
although the ML (specifically RL) models used for control applications are
equally vulnerable to adversarial attacks. In this paper, we show that a
well-performing DRL agent that is initially susceptible to action space
perturbations (e.g. actuator attacks) can be robustified against similar
perturbations through adversarial training.
- Abstract（参考訳）: 機械学習(ML)に対応したサイバー物理システム(CPS)の採用は、輸送、産業、電力網といった現代社会の様々な分野で広く普及している。
深層強化学習(DRL)の最近の研究は、様々なデータ駆動型意思決定と制御アプリケーションにおいてその利点を実証している。
ML対応システムへの依存度が高まるにつれて、悪意のある状態とアクチュエーター攻撃の下でこれらのシステムの性能を研究することが不可欠である。
従来の制御システムはレジリエント/フォールト耐性のコントローラを採用しており、エラー観測によってシステムを修正している。
しかし、いくつかのアプリケーションでは、回復力のあるコントローラは破滅的な失敗を避けるには不十分である。
理想的には、堅牢なアプローチは、システムを本質的に(設計によって)敵の攻撃に対して堅牢なシナリオにおいてより有用である。
堅牢な制御には長い歴史があるが、堅牢なMLは、その関連性と緊急性をすでに示している新興の研究分野である。
しかしながら、ロバストなML研究の大部分は、意思決定や制御タスクではなく、知覚タスクに焦点を合わせてきたが、制御アプリケーションに使用されるML(特にRL)モデルは、敵の攻撃に対して等しく脆弱である。
本稿では,動作空間の摂動(アクチュエータアタックなど)の影響を受けやすいDRLエージェントを,対向訓練により同様の摂動に対して堅牢化することができることを示す。
関連論文リスト
- A Novel Bifurcation Method for Observation Perturbation Attacks on Reinforcement Learning Agents: Load Altering Attacks on a Cyber Physical Power System [1.7887848708497243]
本研究は,分岐層を用いたグループ差分ロジッツ損失を用いた連続制御のための新しい攻撃手法を提案する。
現実的なスマートエネルギー環境における強力な勾配に基づく攻撃の影響を実証する。
論文 参考訳（メタデータ） (2024-07-06T20:55:24Z) - Rethinking Robustness Assessment: Adversarial Attacks on Learning-based Quadrupedal Locomotion Controllers [33.50779001548997]
Legged locomotionは最近、機械学習技術の進歩で顕著な成功を収めた。
学習した移動制御器の弱点を識別するために,逐次的敵攻撃を利用する計算手法を提案する。
我々の研究は、最先端のロバストコントローラーでさえ、十分に設計された低マグニチュード逆数列の下では著しく失敗することを示した。
論文 参考訳（メタデータ） (2024-05-21T00:26:11Z) - Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。
このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。
本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
論文 参考訳（メタデータ） (2024-02-07T21:58:40Z) - Vulnerability of Machine Learning Approaches Applied in IoT-based Smart Grid: A Review [51.31851488650698]
機械学習(ML)は、IoT(Internet-of-Things)ベースのスマートグリッドでの使用頻度が高まっている。
電力信号に注入された逆方向の歪みは システムの正常な制御と操作に大きな影響を及ぼす
安全クリティカルパワーシステムに適用されたMLsgAPPの脆弱性評価を行うことが不可欠である。
論文 参考訳（メタデータ） (2023-08-30T03:29:26Z) - Improving Robustness of Reinforcement Learning for Power System Control
with Adversarial Training [71.7750435554693]
電力系統制御のために提案された最先端のRLエージェントが敵攻撃に対して脆弱であることを示す。
具体的には、敵のマルコフ決定プロセスを用いて攻撃方針を学習し、攻撃の有効性を実証する。
本稿では,RLエージェントの攻撃に対する堅牢性を高め,実行不可能な運用上の決定を回避するために,敵の訓練を利用することを提案する。
論文 参考訳（メタデータ） (2021-10-18T00:50:34Z) - A Practical Adversarial Attack on Contingency Detection of Smart Energy
Systems [0.0]
本稿では,エネルギーシステムの動的制御を実質的に損なうことのできる,革新的な敵攻撃モデルを提案する。
また、深層強化学習(RL)技術を用いて、提案した敵攻撃モデルの展開を最適化する。
論文 参考訳（メタデータ） (2021-09-13T23:11:56Z) - An RL-Based Adaptive Detection Strategy to Secure Cyber-Physical Systems [0.0]
ソフトウェアベースの制御への依存が高まり、サイバー物理システムの脆弱性が高まった。
攻撃シナリオから学んだ経験に基づいて,このような検出器のパラメータを適応的に設定する強化学習(RL)ベースのフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-04T07:38:50Z) - Query-based Targeted Action-Space Adversarial Policies on Deep
Reinforcement Learning Agents [23.580682320064714]
本研究は、CPS文学における行動空間領域における標的攻撃(アクティベーション攻撃)を調査する。
対向目標に対する最適な摂動を生成するクエリベースのブラックボックス攻撃モデルが、別の強化学習問題として定式化可能であることを示す。
実験の結果,名目政策のアウトプットのみを観察する敵政策は,名目政策のインプットとアウトプットを観察する敵政策よりも強い攻撃を発生させることがわかった。
論文 参考訳（メタデータ） (2020-11-13T20:25:48Z) - Robust Deep Reinforcement Learning against Adversarial Perturbations on
State Observations [88.94162416324505]
深部強化学習(DRL)エージェントは、自然な測定誤差や対向雑音を含む観測を通して、その状態を観察する。
観測は真の状態から逸脱するので、エージェントを誤解させ、準最適行動を起こすことができる。
本研究は, 従来の手法を, 対人訓練などの分類タスクの堅牢性向上に応用することは, 多くのRLタスクには有効でないことを示す。
論文 参考訳（メタデータ） (2020-03-19T17:59:59Z) - Enhanced Adversarial Strategically-Timed Attacks against Deep
Reinforcement Learning [91.13113161754022]
本稿では,DRLに基づくナビゲーションシステムに対して,選択した時間フレーム上の物理ノイズパターンを妨害することにより,タイミングに基づく逆方向戦略を導入する。
実験結果から, 対向タイミング攻撃は性能低下を引き起こす可能性が示唆された。
論文 参考訳（メタデータ） (2020-02-20T21:39:25Z) - Challenges and Countermeasures for Adversarial Attacks on Deep
Reinforcement Learning [48.49658986576776]
深層強化学習(Dep Reinforcement Learning, DRL)は、周囲の環境に適応する優れた能力のおかげで、現実世界に多くの応用がある。
その大きな利点にもかかわらず、DRLは現実のクリティカルシステムやアプリケーションでの使用を妨げている敵攻撃の影響を受けやすい。
本稿では,DRLベースのシステムにおける新たな攻撃と,これらの攻撃を防御するための潜在的対策について述べる。
論文 参考訳（メタデータ） (2020-01-27T10:53:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。