論文の概要: Universal Black-Box Reward Poisoning Attack against Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2402.09695v2
• Date: Wed, 23 Oct 2024 19:31:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:51:34.651971
• Title: Universal Black-Box Reward Poisoning Attack against Offline Reinforcement Learning
• Title（参考訳）: オフライン強化学習に対するユニバーサルブラックボックスリワード攻撃
• Authors: Yinglun Xu, Rohan Gumaste, Gagandeep Singh,
• Abstract要約: ニューラルネットワークを用いた汎用オフライン強化学習に対する汎用的ブラックボックス型報酬中毒攻撃の問題点について検討する。 一般オフラインRL設定において,最初の汎用ブラックボックス報酬中毒攻撃を提案する。
• 参考スコア（独自算出の注目度）: 4.629358641630161
• License:
• Abstract: We study the problem of universal black-boxed reward poisoning attacks against general offline reinforcement learning with deep neural networks. We consider a black-box threat model where the attacker is entirely oblivious to the learning algorithm, and its budget is limited by constraining the amount of corruption at each data point and the total perturbation. We require the attack to be universally efficient against any efficient algorithms that might be used by the agent. We propose an attack strategy called the `policy contrast attack.' The idea is to find low- and high-performing policies covered by the dataset and make them appear to be high- and low-performing to the agent, respectively. To the best of our knowledge, we propose the first universal black-box reward poisoning attack in the general offline RL setting. We provide theoretical insights on the attack design and empirically show that our attack is efficient against current state-of-the-art offline RL algorithms in different learning datasets.
• Abstract（参考訳）: ニューラルネットワークを用いた汎用オフライン強化学習に対する汎用的ブラックボックス型報酬中毒攻撃の問題点について検討する。 我々は、攻撃者が学習アルゴリズムに完全に不利なブラックボックス脅威モデルを考え、その予算は各データポイントにおける汚職の量と総摂動を制限することで制限される。 エージェントが使用する任意の効率的なアルゴリズムに対して、攻撃は普遍的に効率的である必要があります。 我々は「政治コントラスト攻撃」と呼ばれる攻撃戦略を提案する。 「データセットがカバーする低パフォーマンスと高パフォーマンスのポリシーを見つけ、エージェントにそれぞれ高いパフォーマンスと低パフォーマンスのように見えるようにしよう」という考え方である。 我々の知る限り、一般のオフラインRL設定において、最初の汎用ブラックボックス報酬中毒攻撃を提案する。 攻撃設計に関する理論的知見を提供し、異なる学習データセットにおける現在の最先端のオフラインRLアルゴリズムに対して、我々の攻撃が効率的であることを実証的に示す。

関連論文リスト

• Adversarial Attacks on Online Learning to Rank with Stochastic Click Models [34.725468803108754]
  本稿では,オンライン学習に対する敵対的攻撃のランク付けに関する最初の研究を提案する。 敵の目標は、オンライン学習がアルゴリズムをランク付けしてランキングリストの上位にターゲット項目を置くことを誤解し、サブ線形攻撃コストで時間水平線をT$に設定することである。
  論文  参考訳（メタデータ） (2023-05-30T17:05:49Z)
• Adversarial Attacks on Online Learning to Rank with Click Feedback [18.614785011987756]
  オンライン学習のランク付けは、学習エージェントがアイテムの順序付きリストを選択し、ユーザクリックでフィードバックを受け取る、シーケンシャルな意思決定問題である。 本稿では,OLTRの複数変種に対する攻撃戦略について検討する。 本稿では,汎用クリックモデルに基づく任意のアルゴリズムに対する一般的な攻撃戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-26T16:28:26Z)
• Black-Box Targeted Reward Poisoning Attack Against Online Deep Reinforcement Learning [2.3526458707956643]
  トレーニング期間中の報酬中毒によるオンライン深層学習に対する最初のブラックボックス攻撃を提案する。 我々の攻撃は未知のアルゴリズムによって学習された未知のダイナミクスを持つ一般的な環境に適用できる。
  論文  参考訳（メタデータ） (2023-05-18T03:37:29Z)
• Adversarial Attacks on Adversarial Bandits [10.891819703383408]
  攻撃者は,任意の非相対的帯域幅アルゴリズムをミスリードして,準最適目標アームを選択することができることを示す。 この結果は、現実世界の盗賊ベースのシステムにおける重要なセキュリティ上の懸念を意味する。
  論文  参考訳（メタデータ） (2023-01-30T00:51:39Z)
• Efficient Reward Poisoning Attacks on Online Deep Reinforcement Learning [6.414910263179327]
  オンライン深層学習(DRL)における報酬中毒に関する研究 我々は、敵MDP攻撃と呼ばれる一般的なブラックボックス報酬中毒フレームワークを設計することで、最先端DRLアルゴリズムの本質的な脆弱性を実証する。 以上の結果から,我々の攻撃は,いくつかの古典的制御環境や MuJoCo 環境下で学習する有害物質を効果的に検出できることがわかった。
  論文  参考訳（メタデータ） (2022-05-30T04:07:19Z)
• Investigating Top-$k$ White-Box and Transferable Black-box Attack [75.13902066331356]
  攻撃後の利子階級ランク (ICR) で示されるASRの上位100ドルに対して, より強い攻撃が実際より優れていることを示す。 そこで本稿では,ロジットの更新を暗黙的に最大化するために,新たな正規化CE損失を提案する。
  論文  参考訳（メタデータ） (2022-03-30T15:02:27Z)
• Projective Ranking-based GNN Evasion Attacks [52.85890533994233]
  グラフニューラルネットワーク(GNN)は、グラフ関連のタスクに対して、有望な学習方法を提供する。 GNNは敵の攻撃の危険にさらされている。
  論文  参考訳（メタデータ） (2022-02-25T21:52:09Z)
• Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the Age of AI-NIDS [70.60975663021952]
  ネットワーク分類器に対するブラックボックス攻撃について検討する。 我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。 攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
  論文  参考訳（メタデータ） (2021-11-23T23:42:16Z)
• Online Adversarial Attacks [57.448101834579624]
  我々は、実世界のユースケースで見られる2つの重要な要素を強調し、オンライン敵攻撃問題を定式化する。 まず、オンライン脅威モデルの決定論的変種を厳格に分析する。 このアルゴリズムは、現在の最良の単一しきい値アルゴリズムよりも、$k=2$の競争率を確実に向上させる。
  論文  参考訳（メタデータ） (2021-03-02T20:36:04Z)
• Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
  近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。 敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:49:42Z)
• RayS: A Ray Searching Method for Hard-label Adversarial Attack [99.72117609513589]
  我々は、レイサーチ攻撃(RayS)を提案し、これはハードラベル攻撃の有効性と効率を大幅に改善する。 モデルの正当性チェックとしても使用できる。
  論文  参考訳（メタデータ） (2020-06-23T07:01:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。