論文の概要: Reward-Free Attacks in Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2112.00940v1
• Date: Thu, 2 Dec 2021 02:36:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-03 15:04:48.280396
• Title: Reward-Free Attacks in Multi-Agent Reinforcement Learning
• Title（参考訳）: マルチエージェント強化学習における報酬フリー攻撃
• Authors: Ted Fujimoto and Timothy Doster and Adam Attarian and Jill Brandenberger and Nathan Hodas
• Abstract要約: 我々は、被害者の報酬にアクセスできることなく、被害者の行動からのみ学習した場合、攻撃者がどれほど効果的であるかを調査する。 我々の実験では、被害者のエージェントは政策のエントロピーによって転倒され、攻撃者が成功するために被害者の報酬にアクセスする必要がなくなる可能性を示唆している。
• 参考スコア（独自算出の注目度）: 4.322454918650574
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We investigate how effective an attacker can be when it only learns from its victim's actions, without access to the victim's reward. In this work, we are motivated by the scenario where the attacker wants to behave strategically when the victim's motivations are unknown. We argue that one heuristic approach an attacker can use is to maximize the entropy of the victim's policy. The policy is generally not obfuscated, which implies it may be extracted simply by passively observing the victim. We provide such a strategy in the form of a reward-free exploration algorithm that maximizes the attacker's entropy during the exploration phase, and then maximizes the victim's empirical entropy during the planning phase. In our experiments, the victim agents are subverted through policy entropy maximization, implying an attacker might not need access to the victim's reward to succeed. Hence, reward-free attacks, which are based only on observing behavior, show the feasibility of an attacker to act strategically without knowledge of the victim's motives even if the victim's reward information is protected.
• Abstract（参考訳）: 被害者の報酬にアクセスできることなく、被害者の行動からのみ学習した場合、攻撃者がどれほど効果的かを調べる。 本研究は,被害者の動機が不明な場合に攻撃者が戦略的に行動したいというシナリオに動機づけられる。 攻撃者が使えるヒューリスティックなアプローチの一つは、被害者のポリシーのエントロピーを最大化することである。 ポリシーは一般に難読化されていないため、単に被害者を受動的に観察することで抽出することができる。 我々は,探索段階における攻撃者のエントロピーを最大化し,計画段階における被害者の経験的エントロピーを最大化する,報酬のない探索アルゴリズムの形でそのような戦略を提供する。 我々の実験では、被害者エージェントは政策エントロピーの最大化によって転倒し、攻撃者が成功するために被害者の報酬にアクセスする必要がなくなる可能性を示唆している。 したがって、観察行動のみに基づく報酬フリー攻撃は、被害者の報酬情報が保護されている場合でも、被害者の動機を知らずに戦略的に行動する可能性を示す。

関連論文リスト

• Behavior-Targeted Attack on Reinforcement Learning with Limited Access to Victim's Policy [9.530897053573186]
  ブラックボックス内の被害者エージェントを操作する新しい方法を提案する。 本手法は二段階最適化問題として定式化され,マッチング問題に還元される。 いくつかの強化学習ベンチマークにおける実証評価の結果,提案手法はベースラインに対する攻撃性能に優れていた。
  論文  参考訳（メタデータ） (2024-06-06T08:49:51Z)
• Efficient Adversarial Attacks on Online Multi-agent Reinforcement Learning [45.408568528354216]
  対人攻撃がマルチエージェント強化学習(MARL)に及ぼす影響について検討する。 検討された設定では、エージェントがそれらを受け取る前に報酬を変更したり、環境がそれを受け取る前にアクションを操作することができる攻撃者がいる。 この混合攻撃戦略は,攻撃者が基礎となる環境やエージェントのアルゴリズムに関する事前情報を持っていなくても,MARLエージェントを効果的に攻撃することができることを示す。
  論文  参考訳（メタデータ） (2023-07-15T00:38:55Z)
• Rethinking Adversarial Policies: A Generalized Attack Formulation and Provable Defense in RL [46.32591437241358]
  本稿では、訓練された被害者エージェントが他のエージェントを制御する攻撃者によって悪用されるマルチエージェント設定について考察する。 以前のモデルでは、攻撃者が$alpha$に対する部分的な制御しか持たない可能性や、攻撃が容易に検出可能な"異常"な振る舞いを生じさせる可能性を考慮していない。 我々は、敵がエージェントをどの程度制御できるかをモデル化する柔軟性を持つ汎用攻撃フレームワークを導入する。 我々は、時間的分離を伴う敵の訓練を通じて、最も堅牢な被害者政策への収束を証明可能な効率のよい防御を提供する。
  論文  参考訳（メタデータ） (2023-05-27T02:54:07Z)
• Understanding the Vulnerability of Skeleton-based Human Activity Recognition via Black-box Attack [53.032801921915436]
  HAR(Human Activity Recognition)は、自動運転車など、幅広い用途に採用されている。 近年,敵対的攻撃に対する脆弱性から,骨格型HAR法の堅牢性に疑問が呈されている。 攻撃者がモデルの入出力しかアクセスできない場合でも、そのような脅威が存在することを示す。 BASARと呼ばれる骨格をベースとしたHARにおいて,最初のブラックボックス攻撃手法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T09:51:28Z)
• Imitating Opponent to Win: Adversarial Policy Imitation Learning in Two-player Competitive Games [0.0]
  敵エージェントが採用する敵ポリシーは、ターゲットRLエージェントに影響を及ぼし、マルチエージェント環境では性能が良くない。 既存の研究では、被害者エージェントと対話した経験に基づいて、敵の政策を直接訓練している。 我々は、この欠点を克服する、新しい効果的な対人政策学習アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2022-10-30T18:32:02Z)
• Adversarial Visual Robustness by Causal Intervention [56.766342028800445]
  敵の訓練は、敵の例に対する事実上最も有望な防御である。 しかし、その受動性は必然的に未知の攻撃者への免疫を妨げる。 我々は、敵対的脆弱性の因果的視点を提供する: 原因は、学習に普遍的に存在する共同創設者である。
  論文  参考訳（メタデータ） (2021-06-17T14:23:54Z)
• Policy Teaching in Reinforcement Learning via Environment Poisoning Attacks [33.41280432984183]
  本研究では,攻撃者が学習環境を害し,攻撃者が選択したターゲットポリシーの実行を強制する強化学習に対するセキュリティ上の脅威について検討する。 被害者として、無限水平問題設定における報酬を最大化するポリシーを見つけることを目的としたRLエージェントを考える。
  論文  参考訳（メタデータ） (2020-11-21T16:54:45Z)
• Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries [74.59376038272661]
  本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。 ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。 防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
  論文  参考訳（メタデータ） (2020-09-01T12:54:54Z)
• Deflecting Adversarial Attacks [94.85315681223702]
  我々は、攻撃者が攻撃対象クラスに似た入力を生成することによって、敵攻撃を「防御」するこのサイクルを終わらせる新しいアプローチを提案する。 本稿ではまず,3つの検出機構を組み合わせたカプセルネットワークに基づくより強力な防御手法を提案する。
  論文  参考訳（メタデータ） (2020-02-18T06:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。