論文の概要: Reward Poisoning Attack Against Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2402.09695v1
• Date: Thu, 15 Feb 2024 04:08:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 17:02:51.136458
• Title: Reward Poisoning Attack Against Offline Reinforcement Learning
• Title（参考訳）: オフライン強化学習に対するReward Poisoning攻撃
• Authors: Yinglun Xu, Rohan Gumaste, Gagandeep Singh
• Abstract要約: 機能近似のためのディープニューラルネットワークを用いた一般オフライン強化学習に対する報酬中毒攻撃の問題点について検討する。 我々の知る限り、一般のオフラインRL設定における最初のブラックボックス報酬中毒攻撃を提案する。
• 参考スコア（独自算出の注目度）: 5.057241745123681
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of reward poisoning attacks against general offline reinforcement learning with deep neural networks for function approximation. We consider a black-box threat model where the attacker is completely oblivious to the learning algorithm and its budget is limited by constraining both the amount of corruption at each data point, and the total perturbation. We propose an attack strategy called `policy contrast attack'. The high-level idea is to make some low-performing policies appear as high-performing while making high-performing policies appear as low-performing. To the best of our knowledge, we propose the first black-box reward poisoning attack in the general offline RL setting. We provide theoretical insights on the attack design and empirically show that our attack is efficient against current state-of-the-art offline RL algorithms in different kinds of learning datasets.
• Abstract（参考訳）: 深層ニューラルネットワークを用いた一般オフライン強化学習に対する報酬中毒攻撃の問題点について検討した。 我々は、攻撃者が学習アルゴリズムに完全に従わず、その予算が各データポイントの腐敗量と総摂動量の両方を制限することで制限されるブラックボックス脅威モデルを考える。 我々は 'policy contrast attack' と呼ばれる攻撃戦略を提案する。 ハイレベルな考え方は、ハイパフォーマンスなポリシーをハイパフォーマンスにしつつ、ハイパフォーマンスなポリシーを低パフォーマンスに見せることです。 我々の知る限り、一般のオフラインRL設定における最初のブラックボックス報酬中毒攻撃を提案する。 我々は攻撃設計に関する理論的知見を提供し、我々の攻撃が様々な種類の学習データセットにおける現在の最先端のオフラインRLアルゴリズムに対して効率的であることを実証的に示す。

関連論文リスト

• Optimal Attack and Defense for Reinforcement Learning [11.36770403327493]
  敵RLでは、外部攻撃者は、環境との相互作用を操作できる。 我々は、攻撃者が予想される報酬を最大化するステルス攻撃を設計する際の問題を示す。 被害者に対する最適な防衛方針は,Stackelbergゲームに対する解決策として計算できる,と我々は主張する。
  論文  参考訳（メタデータ） (2023-11-30T21:21:47Z)
• Adversarial Attacks on Online Learning to Rank with Stochastic Click Models [34.725468803108754]
  本稿では,オンライン学習に対する敵対的攻撃のランク付けに関する最初の研究を提案する。 敵の目標は、オンライン学習がアルゴリズムをランク付けしてランキングリストの上位にターゲット項目を置くことを誤解し、サブ線形攻撃コストで時間水平線をT$に設定することである。
  論文  参考訳（メタデータ） (2023-05-30T17:05:49Z)
• Black-Box Targeted Reward Poisoning Attack Against Online Deep Reinforcement Learning [2.3526458707956643]
  トレーニング期間中の報酬中毒によるオンライン深層学習に対する最初のブラックボックス攻撃を提案する。 我々の攻撃は未知のアルゴリズムによって学習された未知のダイナミクスを持つ一般的な環境に適用できる。
  論文  参考訳（メタデータ） (2023-05-18T03:37:29Z)
• Efficient Reward Poisoning Attacks on Online Deep Reinforcement Learning [6.414910263179327]
  オンライン深層学習(DRL)における報酬中毒に関する研究 我々は、敵MDP攻撃と呼ばれる一般的なブラックボックス報酬中毒フレームワークを設計することで、最先端DRLアルゴリズムの本質的な脆弱性を実証する。 以上の結果から,我々の攻撃は,いくつかの古典的制御環境や MuJoCo 環境下で学習する有害物質を効果的に検出できることがわかった。
  論文  参考訳（メタデータ） (2022-05-30T04:07:19Z)
• Projective Ranking-based GNN Evasion Attacks [52.85890533994233]
  グラフニューラルネットワーク(GNN)は、グラフ関連のタスクに対して、有望な学習方法を提供する。 GNNは敵の攻撃の危険にさらされている。
  論文  参考訳（メタデータ） (2022-02-25T21:52:09Z)
• Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the Age of AI-NIDS [70.60975663021952]
  ネットワーク分類器に対するブラックボックス攻撃について検討する。 我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。 攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
  論文  参考訳（メタデータ） (2021-11-23T23:42:16Z)
• Online Adversarial Attacks [57.448101834579624]
  我々は、実世界のユースケースで見られる2つの重要な要素を強調し、オンライン敵攻撃問題を定式化する。 まず、オンライン脅威モデルの決定論的変種を厳格に分析する。 このアルゴリズムは、現在の最良の単一しきい値アルゴリズムよりも、$k=2$の競争率を確実に向上させる。
  論文  参考訳（メタデータ） (2021-03-02T20:36:04Z)
• Disturbing Reinforcement Learning Agents with Corrupted Rewards [62.997667081978825]
  強化学習アルゴリズムに対する報酬の摂動に基づく異なる攻撃戦略の効果を分析します。 敵対的な報酬をスムーズに作成することは学習者を誤解させることができ、低探査確率値を使用すると、学習した政策は報酬を腐敗させるのがより堅牢であることを示しています。
  論文  参考訳（メタデータ） (2021-02-12T15:53:48Z)
• Witches' Brew: Industrial Scale Data Poisoning via Gradient Matching [56.280018325419896]
  Data Poisoning攻撃は、トレーニングデータを変更して、そのようなデータでトレーニングされたモデルを悪意を持って制御する。 我々は「スクラッチから」と「クリーンラベルから」の両方である特に悪意のある毒物攻撃を分析します。 フルサイズで有毒なImageNetデータセットをスクラッチからトレーニングした現代のディープネットワークにおいて、ターゲットの誤分類を引き起こすのは、これが初めてであることを示す。
  論文  参考訳（メタデータ） (2020-09-04T16:17:54Z)
• Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
  近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。 敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:49:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。