論文の概要: Provably Efficient Action-Manipulation Attack Against Continuous Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2411.13116v1
- Date: Wed, 20 Nov 2024 08:20:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-21 16:13:01.444564
- Title: Provably Efficient Action-Manipulation Attack Against Continuous Reinforcement Learning
- Title（参考訳）: 継続的強化学習に対する効果的なアクション・マニピュレーション・アタック
- Authors: Zhi Luo, Xiyuan Yang, Pan Zhou, Di Wang,
- Abstract要約: 我々は,モンテカルロ木探索法を用いて効率的な行動探索と操作を行うLCBTというブラックボックス攻撃アルゴリズムを提案する。
提案手法は, DDPG, PPO, TD3の3つの攻撃的アルゴリズムに対して, 連続的な設定で実行し, 攻撃性能が期待できることを示す。
- 参考スコア（独自算出の注目度）: 49.48615590763914
- License:
- Abstract: Manipulating the interaction trajectories between the intelligent agent and the environment can control the agent's training and behavior, exposing the potential vulnerabilities of reinforcement learning (RL). For example, in Cyber-Physical Systems (CPS) controlled by RL, the attacker can manipulate the actions of the adopted RL to other actions during the training phase, which will lead to bad consequences. Existing work has studied action-manipulation attacks in tabular settings, where the states and actions are discrete. As seen in many up-and-coming RL applications, such as autonomous driving, continuous action space is widely accepted, however, its action-manipulation attacks have not been thoroughly investigated yet. In this paper, we consider this crucial problem in both white-box and black-box scenarios. Specifically, utilizing the knowledge derived exclusively from trajectories, we propose a black-box attack algorithm named LCBT, which uses the Monte Carlo tree search method for efficient action searching and manipulation. Additionally, we demonstrate that for an agent whose dynamic regret is sub-linearly related to the total number of steps, LCBT can teach the agent to converge to target policies with only sublinear attack cost, i.e., $O\left(\mathcal{R}(T) + MH^3K^E\log (MT)\right)(0<E<1)$, where $H$ is the number of steps per episode, $K$ is the total number of episodes, $T=KH$ is the total number of steps, $M$ is the number of subspaces divided in the state space, and $\mathcal{R}(T)$ is the bound of the RL algorithm's regret. We conduct our proposed attack methods on three aggressive algorithms: DDPG, PPO, and TD3 in continuous settings, which show a promising attack performance.
- Abstract（参考訳）: 知的エージェントと環境の間の相互作用の軌跡を操作することにより、エージェントのトレーニングと行動を制御することができ、強化学習(RL)の潜在的な脆弱性を明らかにすることができる。
例えば、RLによって制御されるサイバー物理システム(CPS)では、アタッカーはトレーニングフェーズ中に採用されたRLのアクションを他のアクションに操作することができる。
既存の研究は、状態と動作が離散的な表の設定におけるアクション操作攻撃を研究してきた。
自律運転、連続行動空間など、多くの先進RLアプリケーションで見られるように、その動作制御攻撃はまだ十分に研究されていない。
本稿では,ホワイトボックスとブラックボックスの両方のシナリオにおいて,この重要な問題を考察する。
具体的には,モンテカルロ木探索法を用いて効率的な行動探索と操作を行うLCBTというブラックボックス攻撃アルゴリズムを提案する。
さらに、動的後悔がステップの総数に亜直線的に関係しているエージェントに対して、LCBTはエージェントにサブ線形攻撃コストのみでターゲットポリシーに収束するように教えることができる。例えば、$O\left(\mathcal{R}(T) + MH^3K^E\log (MT)\right)(0<E<1)$, $H$はエピソード毎のステップ数、$K$はエピソード毎のステップ数、$T=KH$はステップ総数、$M$は状態空間で分割されたサブスペース数、$\mathcal{R}(T)$はRLアルゴリズムの境界である。
提案手法は, DDPG, PPO, TD3の3つの攻撃的アルゴリズムに対して, 連続的な設定で実行し, 攻撃性能が期待できることを示す。
関連論文リスト
- Action-Quantized Offline Reinforcement Learning for Robotic Skill
Learning [68.16998247593209]
オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。
本稿では,アクション量子化のための適応型スキームを提案する。
IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2023-10-18T06:07:10Z) - TD3 with Reverse KL Regularizer for Offline Reinforcement Learning from
Mixed Datasets [118.22975463000928]
エージェントが複数の行動ポリシーをロールアウトすることで収集したデータセットから学習する必要があるオフライン強化学習(RL)について考察する。
1) RL信号の最適化と行動クローニング(BC)信号の最適なトレードオフは、異なる行動ポリシーによって引き起こされる行動カバレッジの変化によって異なる状態に変化する。
本稿では,TD3アルゴリズムに基づくBC正規化器として,適応重み付き逆KL(Kulback-Leibler)分散を用いることにより,両課題に対処する。
論文 参考訳（メタデータ） (2022-12-05T09:36:23Z) - Understanding the Limits of Poisoning Attacks in Episodic Reinforcement
Learning [36.30086280732181]
本稿では,<sup>RL</sup>における目標政策に向けて,幻想的順序最適学習アルゴリズムを操作するための毒攻撃について検討する。
攻撃の効果は、報酬が束縛されているか、無束縛されているかによって大きく左右される。
論文 参考訳（メタデータ） (2022-08-29T15:10:14Z) - Continuous Control with Action Quantization from Demonstrations [35.44893918778709]
強化学習(Reinforcement Learning, RL)では、連続的な行動とは対照的に、離散的な行動はより複雑な探索問題をもたらす。
本稿では, 連続的な行動空間の離散化を学習するために, デモからのアクション量子化(AQuaDem)を提案する。
提案手法は,実演付きRL,プレイデータ付きRL,環境下での人間の演奏を実証するが,特定の課題を解決しないImitation Learningと,3つの異なる設定で評価する。
論文 参考訳（メタデータ） (2021-10-19T17:59:04Z) - Adversarial Attacks on Gaussian Process Bandits [47.84198626686564]
本研究では,攻撃者の強さや事前情報に異なる仮定で様々な敵攻撃手法を提案する。
我々の目標は,GPバンディットに対する敵攻撃を理論的・実践的両面から理解することである。
GP帯域に対する敵攻撃は,攻撃予算が低い場合でも,$mathcalR_rmターゲットに対してアルゴリズムを強制的に強制することに成功した。
論文 参考訳（メタデータ） (2021-10-16T02:39:10Z) - Implicitly Regularized RL with Implicit Q-Values [42.87920755961722]
Q$関数は多くの強化学習(RL)アルゴリズムにおいて中心的な量であり、RLエージェントは(ソフト)グレーディポリシーに従って振る舞う。
対数政治と値関数の和として、暗黙的に$Q$-関数をパラメータ化することを提案する。
我々は,大規模アクション空間に適した実用的な非政治的深部RLアルゴリズムを導出し,ポリシーと$Q$値とのソフトマックス関係を強制する。
論文 参考訳（メタデータ） (2021-08-16T12:20:47Z) - Disturbing Reinforcement Learning Agents with Corrupted Rewards [62.997667081978825]
強化学習アルゴリズムに対する報酬の摂動に基づく異なる攻撃戦略の効果を分析します。
敵対的な報酬をスムーズに作成することは学習者を誤解させることができ、低探査確率値を使用すると、学習した政策は報酬を腐敗させるのがより堅牢であることを示しています。
論文 参考訳（メタデータ） (2021-02-12T15:53:48Z) - Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。
敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
論文 参考訳（メタデータ） (2020-08-05T07:49:42Z) - Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。
我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。
これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
論文 参考訳（メタデータ） (2020-02-10T04:23:09Z) - Manipulating Reinforcement Learning: Poisoning Attacks on Cost Signals [22.755411056179813]
本章は、強化学習(RL)におけるサイバー攻撃の出現について研究する。
操作中のTD($lambda$)と$Q$-learningアルゴリズムの性能劣化を分析する。
TD($lambda$)学習のケーススタディは、結果を相関付けるために提供される。
論文 参考訳（メタデータ） (2020-02-07T15:42:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。