論文の概要: Reward Poisoning Attack Against Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2402.09695v1
• Date: Thu, 15 Feb 2024 04:08:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 17:02:51.136458
• Title: Reward Poisoning Attack Against Offline Reinforcement Learning
• Title（参考訳）: オフライン強化学習に対するReward Poisoning攻撃
• Authors: Yinglun Xu, Rohan Gumaste, Gagandeep Singh
• Abstract要約: 機能近似のためのディープニューラルネットワークを用いた一般オフライン強化学習に対する報酬中毒攻撃の問題点について検討する。 我々の知る限り、一般のオフラインRL設定における最初のブラックボックス報酬中毒攻撃を提案する。
• 参考スコア（独自算出の注目度）: 5.057241745123681
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of reward poisoning attacks against general offline reinforcement learning with deep neural networks for function approximation. We consider a black-box threat model where the attacker is completely oblivious to the learning algorithm and its budget is limited by constraining both the amount of corruption at each data point, and the total perturbation. We propose an attack strategy called `policy contrast attack'. The high-level idea is to make some low-performing policies appear as high-performing while making high-performing policies appear as low-performing. To the best of our knowledge, we propose the first black-box reward poisoning attack in the general offline RL setting. We provide theoretical insights on the attack design and empirically show that our attack is efficient against current state-of-the-art offline RL algorithms in different kinds of learning datasets.
• Abstract（参考訳）: 深層ニューラルネットワークを用いた一般オフライン強化学習に対する報酬中毒攻撃の問題点について検討した。 我々は、攻撃者が学習アルゴリズムに完全に従わず、その予算が各データポイントの腐敗量と総摂動量の両方を制限することで制限されるブラックボックス脅威モデルを考える。 我々は 'policy contrast attack' と呼ばれる攻撃戦略を提案する。 ハイレベルな考え方は、ハイパフォーマンスなポリシーをハイパフォーマンスにしつつ、ハイパフォーマンスなポリシーを低パフォーマンスに見せることです。 我々の知る限り、一般のオフラインRL設定における最初のブラックボックス報酬中毒攻撃を提案する。 我々は攻撃設計に関する理論的知見を提供し、我々の攻撃が様々な種類の学習データセットにおける現在の最先端のオフラインRLアルゴリズムに対して効率的であることを実証的に示す。

関連論文リスト

• Adversarial Attacks on Online Learning to Rank with Stochastic Click Models [34.725468803108754]
  本稿では,オンライン学習に対する敵対的攻撃のランク付けに関する最初の研究を提案する。 敵の目標は、オンライン学習がアルゴリズムをランク付けしてランキングリストの上位にターゲット項目を置くことを誤解し、サブ線形攻撃コストで時間水平線をT$に設定することである。
  論文  参考訳（メタデータ） (2023-05-30T17:05:49Z)
• Adversarial Attacks on Online Learning to Rank with Click Feedback [18.614785011987756]
  オンライン学習のランク付けは、学習エージェントがアイテムの順序付きリストを選択し、ユーザクリックでフィードバックを受け取る、シーケンシャルな意思決定問題である。 本稿では,OLTRの複数変種に対する攻撃戦略について検討する。 本稿では,汎用クリックモデルに基づく任意のアルゴリズムに対する一般的な攻撃戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-26T16:28:26Z)
• Black-Box Targeted Reward Poisoning Attack Against Online Deep Reinforcement Learning [2.3526458707956643]
  トレーニング期間中の報酬中毒によるオンライン深層学習に対する最初のブラックボックス攻撃を提案する。 我々の攻撃は未知のアルゴリズムによって学習された未知のダイナミクスを持つ一般的な環境に適用できる。
  論文  参考訳（メタデータ） (2023-05-18T03:37:29Z)
• Adversarial Attacks on Adversarial Bandits [10.891819703383408]
  攻撃者は,任意の非相対的帯域幅アルゴリズムをミスリードして,準最適目標アームを選択することができることを示す。 この結果は、現実世界の盗賊ベースのシステムにおける重要なセキュリティ上の懸念を意味する。
  論文  参考訳（メタデータ） (2023-01-30T00:51:39Z)
• Efficient Reward Poisoning Attacks on Online Deep Reinforcement Learning [6.414910263179327]
  オンライン深層学習(DRL)における報酬中毒に関する研究 我々は、敵MDP攻撃と呼ばれる一般的なブラックボックス報酬中毒フレームワークを設計することで、最先端DRLアルゴリズムの本質的な脆弱性を実証する。 以上の結果から,我々の攻撃は,いくつかの古典的制御環境や MuJoCo 環境下で学習する有害物質を効果的に検出できることがわかった。
  論文  参考訳（メタデータ） (2022-05-30T04:07:19Z)
• Investigating Top-$k$ White-Box and Transferable Black-box Attack [75.13902066331356]
  攻撃後の利子階級ランク (ICR) で示されるASRの上位100ドルに対して, より強い攻撃が実際より優れていることを示す。 そこで本稿では,ロジットの更新を暗黙的に最大化するために,新たな正規化CE損失を提案する。
  論文  参考訳（メタデータ） (2022-03-30T15:02:27Z)
• Projective Ranking-based GNN Evasion Attacks [52.85890533994233]
  グラフニューラルネットワーク(GNN)は、グラフ関連のタスクに対して、有望な学習方法を提供する。 GNNは敵の攻撃の危険にさらされている。
  論文  参考訳（メタデータ） (2022-02-25T21:52:09Z)
• Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the Age of AI-NIDS [70.60975663021952]
  ネットワーク分類器に対するブラックボックス攻撃について検討する。 我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。 攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
  論文  参考訳（メタデータ） (2021-11-23T23:42:16Z)
• Online Adversarial Attacks [57.448101834579624]
  我々は、実世界のユースケースで見られる2つの重要な要素を強調し、オンライン敵攻撃問題を定式化する。 まず、オンライン脅威モデルの決定論的変種を厳格に分析する。 このアルゴリズムは、現在の最良の単一しきい値アルゴリズムよりも、$k=2$の競争率を確実に向上させる。
  論文  参考訳（メタデータ） (2021-03-02T20:36:04Z)
• Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
  近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。 敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:49:42Z)
• RayS: A Ray Searching Method for Hard-label Adversarial Attack [99.72117609513589]
  我々は、レイサーチ攻撃(RayS)を提案し、これはハードラベル攻撃の有効性と効率を大幅に改善する。 モデルの正当性チェックとしても使用できる。
  論文  参考訳（メタデータ） (2020-06-23T07:01:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。