論文の概要: Understanding the Limits of Poisoning Attacks in Episodic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2208.13663v1
• Date: Mon, 29 Aug 2022 15:10:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-30 13:24:03.608091
• Title: Understanding the Limits of Poisoning Attacks in Episodic Reinforcement Learning
• Title（参考訳）: エピソード強化学習における毒殺の限界を理解する
• Authors: Anshuka Rangi, Haifeng Xu, Long Tran-Thanh, Massimo Franceschetti
• Abstract要約: 本稿では,^RLにおける目標政策に向けて,幻想的順序最適学習アルゴリズムを操作するための毒攻撃について検討する。 攻撃の効果は、報酬が束縛されているか、無束縛されているかによって大きく左右される。
• 参考スコア（独自算出の注目度）: 36.30086280732181
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To understand the security threats to reinforcement learning (RL) algorithms, this paper studies poisoning attacks to manipulate \emph{any} order-optimal learning algorithm towards a targeted policy in episodic RL and examines the potential damage of two natural types of poisoning attacks, i.e., the manipulation of \emph{reward} and \emph{action}. We discover that the effect of attacks crucially depend on whether the rewards are bounded or unbounded. In bounded reward settings, we show that only reward manipulation or only action manipulation cannot guarantee a successful attack. However, by combining reward and action manipulation, the adversary can manipulate any order-optimal learning algorithm to follow any targeted policy with $\tilde{\Theta}(\sqrt{T})$ total attack cost, which is order-optimal, without any knowledge of the underlying MDP. In contrast, in unbounded reward settings, we show that reward manipulation attacks are sufficient for an adversary to successfully manipulate any order-optimal learning algorithm to follow any targeted policy using $\tilde{O}(\sqrt{T})$ amount of contamination. Our results reveal useful insights about what can or cannot be achieved by poisoning attacks, and are set to spur more works on the design of robust RL algorithms.
• Abstract（参考訳）: 本稿では, 強化学習(RL)アルゴリズムに対するセキュリティ上の脅威を理解するために, エピソディックなRLにおけるターゲットポリシーに対して, 次数-最適学習アルゴリズムを操作するための中毒攻撃について検討し, 2種類の自然的攻撃, すなわち, 即ちemph{reward} と \emph{action} の操作について検討する。 攻撃の効果は,報酬が限定的か非限定的かによって決定的に異なることが分かる。 有界報酬設定では、報酬操作のみまたはアクション操作のみが攻撃の成功を保証できないことを示す。 しかし、報酬とアクション操作を組み合わせることで、敵は任意のオーダー最適学習アルゴリズムを操作でき、対象とするポリシーに従えば$\tilde{\theta}(\sqrt{t})$の合計攻撃コストで従うことができる。 対照的に、非有界報酬設定では、敵が任意の順序最適学習アルゴリズムをうまく操作し、$\tilde{O}(\sqrt{T})$の汚染量を用いてターゲットポリシーに従うのに十分な報酬操作攻撃を示す。 以上の結果から,ロバストなRLアルゴリズムの設計において,有害な攻撃によって何が達成できるのか,あるいは達成できないのかという有用な知見が得られた。

関連論文リスト

• Provably Efficient Action-Manipulation Attack Against Continuous Reinforcement Learning [49.48615590763914]
  我々は,モンテカルロ木探索法を用いて効率的な行動探索と操作を行うLCBTというブラックボックス攻撃アルゴリズムを提案する。 提案手法は, DDPG, PPO, TD3の3つの攻撃的アルゴリズムに対して, 連続的な設定で実行し, 攻撃性能が期待できることを示す。
  論文  参考訳（メタデータ） (2024-11-20T08:20:29Z)
• Optimal Attack and Defense for Reinforcement Learning [11.36770403327493]
  敵RLでは、外部攻撃者は、環境との相互作用を操作できる。 我々は、攻撃者が予想される報酬を最大化するステルス攻撃を設計する際の問題を示す。 被害者に対する最適な防衛方針は,Stackelbergゲームに対する解決策として計算できる,と我々は主張する。
  論文  参考訳（メタデータ） (2023-11-30T21:21:47Z)
• Projective Ranking-based GNN Evasion Attacks [52.85890533994233]
  グラフニューラルネットワーク(GNN)は、グラフ関連のタスクに対して、有望な学習方法を提供する。 GNNは敵の攻撃の危険にさらされている。
  論文  参考訳（メタデータ） (2022-02-25T21:52:09Z)
• Adversarial Attacks on Gaussian Process Bandits [47.84198626686564]
  本研究では,攻撃者の強さや事前情報に異なる仮定で様々な敵攻撃手法を提案する。 我々の目標は,GPバンディットに対する敵攻撃を理論的・実践的両面から理解することである。 GP帯域に対する敵攻撃は,攻撃予算が低い場合でも,$mathcalR_rmターゲットに対してアルゴリズムを強制的に強制することに成功した。
  論文  参考訳（メタデータ） (2021-10-16T02:39:10Z)
• Disturbing Reinforcement Learning Agents with Corrupted Rewards [62.997667081978825]
  強化学習アルゴリズムに対する報酬の摂動に基づく異なる攻撃戦略の効果を分析します。 敵対的な報酬をスムーズに作成することは学習者を誤解させることができ、低探査確率値を使用すると、学習した政策は報酬を腐敗させるのがより堅牢であることを示しています。
  論文  参考訳（メタデータ） (2021-02-12T15:53:48Z)
• Adaptive Reward-Poisoning Attacks against Reinforcement Learning [43.07944714475278]
  強化学習に対する報奨攻撃では、攻撃者は各ステップで環境報酬$r_t$を$r_t+delta_t$に摂動することができる。 穏やかな条件下では、アダプティブアタックは状態空間サイズ$|S|$のステップで悪質なポリシーを達成できることを示す。 また,攻撃者は最先端の深層RL技術を用いて効果的な報酬中毒攻撃を発見できることを示す。
  論文  参考訳（メタデータ） (2020-03-27T19:46:23Z)
• Action-Manipulation Attacks Against Stochastic Bandits: Attacks and Defense [45.408568528354216]
  我々はアクション・マニピュレーション・アタックと呼ばれる新しいタイプの攻撃を導入する。 この攻撃では、相手が選択したアクション信号を変更することができる。 このような攻撃に対して防御するために,アクション操作攻撃に対して堅牢な新しいアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-02-19T04:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。