Fugu-MT 論文翻訳(概要): Reward Poisoning in Reinforcement Learning: Attacks Against Unknown Learners in Unknown Environments

論文の概要: Reward Poisoning in Reinforcement Learning: Attacks Against Unknown Learners in Unknown Environments

arxiv url: http://arxiv.org/abs/2102.08492v1
Date: Tue, 16 Feb 2021 23:20:15 GMT
ステータス: 処理完了
システム内更新日: 2021-02-18 14:44:51.608200
Title: Reward Poisoning in Reinforcement Learning: Attacks Against Unknown Learners in Unknown Environments
Title（参考訳）: Reward Poisoning in Reinforcement Learning: 未知の学習者に対する攻撃
Authors: Amin Rakhsha, Xuezhou Zhang, Xiaojin Zhu, Adish Singla
Abstract要約: 強化学習に対するブラックボックス報酬中毒攻撃について検討する。我々は、最先端のホワイトボックス攻撃にほぼ適合する性能を確実に達成できる新しいブラックボックス攻撃U2を設計する。
参考スコア（独自算出の注目度）: 41.740225331648155
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study black-box reward poisoning attacks against reinforcement learning (RL), in which an adversary aims to manipulate the rewards to mislead a sequence of RL agents with unknown algorithms to learn a nefarious policy in an environment unknown to the adversary a priori. That is, our attack makes minimum assumptions on the prior knowledge of the adversary: it has no initial knowledge of the environment or the learner, and neither does it observe the learner's internal mechanism except for its performed actions. We design a novel black-box attack, U2, that can provably achieve a near-matching performance to the state-of-the-art white-box attack, demonstrating the feasibility of reward poisoning even in the most challenging black-box setting.
Abstract（参考訳）: そこで,敵は,未知のアルゴリズムでRLエージェントの列を誤誘導し,敵が未知の環境下で悪質なポリシーを学習することを目的とした,強化学習(RL)に対するブラックボックス報酬毒殺攻撃について検討した。すなわち、私たちの攻撃は敵の以前の知識に最小限の仮定をします。環境や学習者の初期の知識がなく、実行された行動を除いて学習者の内部メカニズムを観察しません。最先端のホワイトボックス攻撃に匹敵する性能を発揮できる新しいブラックボックス攻撃、U2を設計し、最も挑戦的なブラックボックス設定でも報酬中毒の可能性を示しています。

関連論文リスト

Behavior-Targeted Attack on Reinforcement Learning with Limited Access to Victim's Policy [9.530897053573186]
ブラックボックス内の被害者エージェントを操作する新しい方法を提案する。本手法は二段階最適化問題として定式化され,マッチング問題に還元される。いくつかの強化学習ベンチマークにおける実証評価の結果,提案手法はベースラインに対する攻撃性能に優れていた。
論文参考訳（メタデータ） (2024-06-06T08:49:51Z)
Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [82.98081731588717]
大規模な言語モデルと外部コンテンツの統合は、間接的にインジェクション攻撃を行うアプリケーションを公開する。本稿では,BIPIAと呼ばれる間接的インジェクション攻撃のリスクを評価するための最初のベンチマークについて紹介する。我々は,素早い学習に基づく2つのブラックボックス法と,逆行訓練による微調整に基づくホワイトボックス防御法を開発した。
論文参考訳（メタデータ） (2023-12-21T01:08:39Z)
Black-Box Targeted Reward Poisoning Attack Against Online Deep Reinforcement Learning [2.3526458707956643]
トレーニング期間中の報酬中毒によるオンライン深層学習に対する最初のブラックボックス攻撃を提案する。我々の攻撃は未知のアルゴリズムによって学習された未知のダイナミクスを持つ一般的な環境に適用できる。
論文参考訳（メタデータ） (2023-05-18T03:37:29Z)
Adversary Aware Continual Learning [3.3439097577935213]
Adversaryは、テスト時に特定のタスクやクラスを意図的に忘れるように、少量の誤報をモデルに導入することができる。我々は,攻撃者のバックドアパターンを人間には認識不能にすることで,攻撃者の主要な強みを隠蔽し,攻撃者の知覚不能パターンを超過する知覚的(強者)パターンを学習することを提案する。提案手法は,攻撃者の目標タスク,攻撃者の目標クラス,攻撃者の許容できないパターンを知らずに,クラスインクリメンタル学習アルゴリズムの性能を著しく向上させることを示す。
論文参考訳（メタデータ） (2023-04-27T19:49:50Z)
Efficient Reward Poisoning Attacks on Online Deep Reinforcement Learning [6.414910263179327]
オンライン深層学習(DRL)における報酬中毒に関する研究我々は、敵MDP攻撃と呼ばれる一般的なブラックボックス報酬中毒フレームワークを設計することで、最先端DRLアルゴリズムの本質的な脆弱性を実証する。以上の結果から,我々の攻撃は,いくつかの古典的制御環境や MuJoCo 環境下で学習する有害物質を効果的に検出できることがわかった。
論文参考訳（メタデータ） (2022-05-30T04:07:19Z)
Adversarial training may be a double-edged sword [50.09831237090801]
深層ネットワークの決定境界における敵対的トレーニングの幾らかの幾何学的結果が、ある種のブラックボックス攻撃のエッジとなることを示す。特に、敵の訓練がホワイトボックスシナリオのロバスト性を大幅に改善する効果的な方法であることを示すために、ロバストネスゲインと呼ばれる指標を定義するが、より現実的な意思決定ベースのブラックボックス攻撃に対して、そのようなロバストネスゲインを提供することはできない。
論文参考訳（メタデータ） (2021-07-24T19:09:16Z)
Understanding Adversarial Attacks on Observations in Deep Reinforcement Learning [32.12283927682007]
深層強化学習モデルは、観測を操作することで被害者の総報酬を減少させる敵攻撃に対して脆弱である。関数空間における逆攻撃の問題を修正し、以前の勾配に基づく攻撃をいくつかの部分空間に分割する。第一段階では、環境をハックして偽装ポリシーを訓練し、最下位の報酬にルーティングするトラジェクトリのセットを発見する。本手法は,攻撃エージェントの性能に対して,既存の手法よりも厳密な理論上界を提供する。
論文参考訳（メタデータ） (2021-06-30T07:41:51Z)
Disturbing Reinforcement Learning Agents with Corrupted Rewards [62.997667081978825]
強化学習アルゴリズムに対する報酬の摂動に基づく異なる攻撃戦略の効果を分析します。敵対的な報酬をスムーズに作成することは学習者を誤解させることができ、低探査確率値を使用すると、学習した政策は報酬を腐敗させるのがより堅牢であることを示しています。
論文参考訳（メタデータ） (2021-02-12T15:53:48Z)
Provable Defense Against Delusive Poisoning [64.69220849669948]
本研究は, 対人訓練が妄想性中毒に対する防御法であることを示す。これは、敵の訓練が妄想的中毒に対する原則的な防御方法であることを意味している。
論文参考訳（メタデータ） (2021-02-09T09:19:47Z)
AdvMind: Inferring Adversary Intent of Black-Box Attacks [66.19339307119232]
本稿では,ブラックボックス攻撃の敵意を頑健に推定する新たな評価モデルであるAdvMindを提案する。平均的なAdvMindは、3回未満のクエリバッチを観察した後、75%以上の精度で敵の意図を検出する。
論文参考訳（メタデータ） (2020-06-16T22:04:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。