Fugu-MT 論文翻訳(概要): Robust Reinforcement Learning on State Observations with Learned Optimal Adversary

論文の概要: Robust Reinforcement Learning on State Observations with Learned Optimal Adversary

arxiv url: http://arxiv.org/abs/2101.08452v1
Date: Thu, 21 Jan 2021 05:38:52 GMT
ステータス: 処理完了
システム内更新日: 2021-03-21 08:08:15.672876
Title: Robust Reinforcement Learning on State Observations with Learned Optimal Adversary
Title（参考訳）: 学習した最適逆境を用いた状態観察によるロバスト強化学習
Authors: Huan Zhang, Hongge Chen, Duane Boning, Cho-Jui Hsieh
Abstract要約: 逆摂動状態観測による強化学習の堅牢性について検討した。固定されたエージェントポリシーでは、摂動状態の観測に最適な敵を見つけることができる。 DRLの設定では、これは以前のものよりもはるかに強い学習された敵対を介してRLエージェントに新しい経験的敵対攻撃につながります。
参考スコア（独自算出の注目度）: 86.0846119254031
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study the robustness of reinforcement learning (RL) with adversarially perturbed state observations, which aligns with the setting of many adversarial attacks to deep reinforcement learning (DRL) and is also important for rolling out real-world RL agent under unpredictable sensing noise. With a fixed agent policy, we demonstrate that an optimal adversary to perturb state observations can be found, which is guaranteed to obtain the worst case agent reward. For DRL settings, this leads to a novel empirical adversarial attack to RL agents via a learned adversary that is much stronger than previous ones. To enhance the robustness of an agent, we propose a framework of alternating training with learned adversaries (ATLA), which trains an adversary online together with the agent using policy gradient following the optimal adversarial attack framework. Additionally, inspired by the analysis of state-adversarial Markov decision process (SA-MDP), we show that past states and actions (history) can be useful for learning a robust agent, and we empirically find a LSTM based policy can be more robust under adversaries. Empirical evaluations on a few continuous control environments show that ATLA achieves state-of-the-art performance under strong adversaries. Our code is available at https://github.com/huanzhang12 /ATLA_robust_RL.
Abstract（参考訳）: 本研究は,高次強化学習(DRL)に対する多くの敵攻撃の設定と整合し,予測不能な感知雑音下で実世界のRLエージェントをロールアウトする上でも重要である,逆摂動状態観測による強化学習(RL)の堅牢性について検討する。固定されたエージェントポリシーでは、摂動状態の観測に最適な敵が見つかることが示され、最悪のエージェント報酬が得られることが保証される。 DRL設定の場合、これはRLエージェントに対する新しい経験的敵攻撃につながる。エージェントのロバスト性を高めるため,我々は,最適な攻撃枠組みに従うポリシー勾配を用いて,エージェントと共にオンラインの敵を訓練する学習敵(atla)による交互訓練の枠組みを提案する。さらに,SA-MDPの分析から,過去状態や行動(歴史)が堅牢なエージェントの学習に有用であること,LSTMに基づく政策が敵の立場でより堅牢であることが実証的に確認された。いくつかの連続制御環境における実証的な評価は、ATLAが強い敵の下で最先端の性能を達成することを示している。私たちのコードはhttps://github.com/huanzhang12 /atla_robust_rlで利用可能です。