論文の概要: Reward Poisoning Attacks on Offline Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2206.01888v1
• Date: Sat, 4 Jun 2022 03:15:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-12 14:22:55.963767
• Title: Reward Poisoning Attacks on Offline Multi-Agent Reinforcement Learning
• Title（参考訳）: オフラインマルチエージェント強化学習における報酬中毒攻撃
• Authors: Young Wu, Jermey McMahan, Xiaojin Zhu, Qiaomin Xie
• Abstract要約: 攻撃者は、中毒のコストを発生させながら、オフラインデータセットで異なる学習者に報酬ベクトルを変更することができる。 攻撃者は、その中毒コストを最小限に抑えるために、線形プログラムを定式化する方法を示す。 我々の研究は、敵攻撃に対する堅牢なMARLの必要性を示している。
• 参考スコア（独自算出の注目度）: 17.80728511507729
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We expose the danger of reward poisoning in offline multi-agent reinforcement learning (MARL), whereby an attacker can modify the reward vectors to different learners in an offline data set while incurring a poisoning cost. Based on the poisoned data set, all rational learners using some confidence-bound-based MARL algorithm will infer that a target policy - chosen by the attacker and not necessarily a solution concept originally - is the Markov perfect dominant strategy equilibrium for the underlying Markov Game, hence they will adopt this potentially damaging target policy in the future. We characterize the exact conditions under which the attacker can install a target policy. We further show how the attacker can formulate a linear program to minimize its poisoning cost. Our work shows the need for robust MARL against adversarial attacks.
• Abstract（参考訳）: 我々は、オフラインマルチエージェント強化学習(MARL)における報酬中毒の危険性を露呈し、攻撃者は中毒のコストを発生させながら、異なる学習者に対して報酬ベクトルを修正できる。 有毒なデータセットに基づいて、信頼できるバウンドベースのMARLアルゴリズムを使用するすべての合理的学習者は、攻撃者によって選択され、必ずしもソリューションの概念ではないターゲットポリシーがマルコフの根底にあるマルコフゲームにとって完全な支配的な戦略均衡であることを推測する。 我々は、攻撃者がターゲットポリシーをインストールできる正確な条件を特徴付ける。 我々はさらに,攻撃者が線状プログラムを定式化し,その中毒コストを最小化する方法を示した。 我々の研究は、敵攻撃に対する堅牢なMARLの必要性を示している。

関連論文リスト

• Purple-teaming LLMs with Adversarial Defender Training [57.535241000787416]
  本稿では,PAD(Adversarial Defender Training)を用いたPurple-teaming LLMを提案する。 PADは、赤チーム(アタック)技術と青チーム(セーフティトレーニング)技術を新たに取り入れることで、LSMを保護するために設計されたパイプラインである。 PADは、効果的な攻撃と堅牢な安全ガードレールの確立の両方において、既存のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2024-07-01T23:25:30Z)
• Stackelberg Games with $k$-Submodular Function under Distributional Risk-Receptiveness and Robustness [0.8233493213841317]
  本研究では,不確実性や攻撃を受けやすいデータを用いた特徴選択などの機械学習問題に適用可能な,逆向き文脈における部分モジュラ最適化について検討する。 我々は、攻撃者(またはインターディクタ)とディフェンダーの間のStackelbergゲームに焦点を当て、攻撃者は$k$-submodular関数を最大化するディフェンダーの目的を最小化することを目的としている。 本稿では、分散リスク-Averse $k$-SIPと分散リスク-Receptive $k$-SIPと、それを解くための有限収束正確なアルゴリズムを紹介する。
  論文  参考訳（メタデータ） (2024-06-18T19:30:46Z)
• Optimal Attack and Defense for Reinforcement Learning [11.36770403327493]
  敵RLでは、外部攻撃者は、環境との相互作用を操作できる。 我々は、攻撃者が予想される報酬を最大化するステルス攻撃を設計する際の問題を示す。 被害者に対する最適な防衛方針は,Stackelbergゲームに対する解決策として計算できる,と我々は主張する。
  論文  参考訳（メタデータ） (2023-11-30T21:21:47Z)
• RLHFPoison: Reward Poisoning Attack for Reinforcement Learning with Human Feedback in Large Language Models [62.72318564072706]
  Reinforcement Learning with Human Feedback (RLHF) は、Large Language Models (LLM) を人間の好みに合わせるために設計された方法論である。 その利点にもかかわらず、RLHFはテキストのランク付けに人間のアノテーションに依存している。 そこで我々は,ある悪意ある行動に到達するために,候補の選好ランク選択に対する中毒攻撃手法であるRancPoisonを提案する。
  論文  参考訳（メタデータ） (2023-11-16T07:48:45Z)
• Efficient Adversarial Attacks on Online Multi-agent Reinforcement Learning [45.408568528354216]
  対人攻撃がマルチエージェント強化学習(MARL)に及ぼす影響について検討する。 検討された設定では、エージェントがそれらを受け取る前に報酬を変更したり、環境がそれを受け取る前にアクションを操作することができる攻撃者がいる。 この混合攻撃戦略は,攻撃者が基礎となる環境やエージェントのアルゴリズムに関する事前情報を持っていなくても,MARLエージェントを効果的に攻撃することができることを示す。
  論文  参考訳（メタデータ） (2023-07-15T00:38:55Z)
• Decentralized Optimistic Hyperpolicy Mirror Descent: Provably No-Regret Learning in Markov Games [95.10091348976779]
  我々はマルコフゲームにおいて、非定常的でおそらく敵対的な相手と遊べる単一のエージェントを制御する分散ポリシー学習について研究する。 我々は、新しいアルゴリズム、アンダーラインデ集中型アンダーラインハイプラインRpolicy munderlineIrror deunderlineScent (DORIS)を提案する。 DORISは、一般的な関数近似の文脈で$sqrtK$-regretを達成する。
  論文  参考訳（メタデータ） (2022-06-03T14:18:05Z)
• Projective Ranking-based GNN Evasion Attacks [52.85890533994233]
  グラフニューラルネットワーク(GNN)は、グラフ関連のタスクに対して、有望な学習方法を提供する。 GNNは敵の攻撃の危険にさらされている。
  論文  参考訳（メタデータ） (2022-02-25T21:52:09Z)
• How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
  我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。 本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。 我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
  論文  参考訳（メタデータ） (2020-12-02T15:30:21Z)
• Policy Teaching in Reinforcement Learning via Environment Poisoning Attacks [33.41280432984183]
  本研究では,攻撃者が学習環境を害し,攻撃者が選択したターゲットポリシーの実行を強制する強化学習に対するセキュリティ上の脅威について検討する。 被害者として、無限水平問題設定における報酬を最大化するポリシーを見つけることを目的としたRLエージェントを考える。
  論文  参考訳（メタデータ） (2020-11-21T16:54:45Z)
• Policy Teaching via Environment Poisoning: Training-time Adversarial Attacks against Reinforcement Learning [33.41280432984183]
  本研究では,攻撃者が学習環境を害してエージェントに目標ポリシーの実行を強制する強化学習に対するセキュリティ上の脅威について検討する。 被害者として、未報告の無限水平問題設定における平均報酬を最大化するポリシーを見つけることを目的としたRLエージェントを考える。
  論文  参考訳（メタデータ） (2020-03-28T23:22:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。