論文の概要: Behavior-Targeted Attack on Reinforcement Learning with Limited Access to Victim's Policy

• arxiv url: http://arxiv.org/abs/2406.03862v1
• Date: Thu, 6 Jun 2024 08:49:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-06-07 15:49:43.738962
• Title: Behavior-Targeted Attack on Reinforcement Learning with Limited Access to Victim's Policy
• Title（参考訳）: 被害者の政策に限定した強化学習における行動目標攻撃
• Authors: Shojiro Yamabe, Kazuto Fukuchi, Ryoma Senda, Jun Sakuma,
• Abstract要約: ブラックボックス内の被害者エージェントを操作する新しい方法を提案する。 本手法は二段階最適化問題として定式化され,マッチング問題に還元される。 いくつかの強化学習ベンチマークにおける実証評価の結果,提案手法はベースラインに対する攻撃性能に優れていた。
• 参考スコア（独自算出の注目度）: 9.530897053573186
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This study considers the attack on reinforcement learning agents where the adversary aims to control the victim's behavior as specified by the adversary by adding adversarial modifications to the victim's state observation. While some attack methods reported success in manipulating the victim agent's behavior, these methods often rely on environment-specific heuristics. In addition, all existing attack methods require white-box access to the victim's policy. In this study, we propose a novel method for manipulating the victim agent in the black-box (i.e., the adversary is allowed to observe the victim's state and action only) and no-box (i.e., the adversary is allowed to observe the victim's state only) setting without requiring environment-specific heuristics. Our attack method is formulated as a bi-level optimization problem that is reduced to a distribution matching problem and can be solved by an existing imitation learning algorithm in the black-box and no-box settings. Empirical evaluations on several reinforcement learning benchmarks show that our proposed method has superior attack performance to baselines.
• Abstract（参考訳）: 本研究は,被害者の状態観察に敵対的修正を加えることにより,被害者の行動を制御することを目的とした強化学習エージェントに対する攻撃について考察する。 いくつかの攻撃方法では、被害者の行動を操作することに成功したが、これらの手法は環境特有のヒューリスティックに頼っていることが多い。 さらに、既存の攻撃方法はすべて、被害者のポリシーへのホワイトボックスアクセスを必要とする。 本研究では,ブラックボックス内での被害者エージェントの操作方法(敵は被害者の状態と行動のみを観察すること)とノーボックス(敵は環境固有のヒューリスティックを必要とせずに被害者の状態のみを観察すること)を新たに提案する。 本手法は,分布マッチング問題に還元された二段階最適化問題として定式化され,ブラックボックスおよびノーボックス設定における既存の模倣学習アルゴリズムによって解くことができる。 いくつかの強化学習ベンチマークにおける実証評価の結果,提案手法はベースラインに対する攻撃性能に優れていた。

関連論文リスト

• RAT: Adversarial Attacks on Deep Reinforcement Agents for Targeted Behaviors [15.593859086891745]
  RATは、人間の嗜好と明確に一致した意図的なポリシーを訓練する。 RATはリプレイバッファ内の状態占有度を動的に調整し、より制御され効果的な動作操作を可能にする。
  論文  参考訳（メタデータ） (2024-12-14T06:56:11Z)
• On the Difficulty of Defending Contrastive Learning against Backdoor Attacks [58.824074124014224]
  バックドア攻撃が、特有のメカニズムによってどのように動作するかを示す。 本研究は, 対照的なバックドア攻撃の特異性に合わせて, 防御の必要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2023-12-14T15:54:52Z)
• Rethinking Adversarial Policies: A Generalized Attack Formulation and Provable Defense in RL [46.32591437241358]
  本稿では、訓練された被害者エージェントが他のエージェントを制御する攻撃者によって悪用されるマルチエージェント設定について考察する。 以前のモデルでは、攻撃者が$alpha$に対する部分的な制御しか持たない可能性や、攻撃が容易に検出可能な"異常"な振る舞いを生じさせる可能性を考慮していない。 我々は、敵がエージェントをどの程度制御できるかをモデル化する柔軟性を持つ汎用攻撃フレームワークを導入する。 我々は、時間的分離を伴う敵の訓練を通じて、最も堅牢な被害者政策への収束を証明可能な効率のよい防御を提供する。
  論文  参考訳（メタデータ） (2023-05-27T02:54:07Z)
• Toward Evaluating Robustness of Reinforcement Learning with Adversarial Policy [32.1138935956272]
  強化学習エージェントは、デプロイ中に回避攻撃を受けやすい。 本稿では,効率的なブラックボックス対応政策学習のための本質的なモチベーション付き適応政策(IMAP)を提案する。
  論文  参考訳（メタデータ） (2023-05-04T07:24:12Z)
• Generalizable Black-Box Adversarial Attack with Meta Learning [54.196613395045595]
  ブラックボックス攻撃では、ターゲットモデルのパラメータが不明であり、攻撃者はクエリのフィードバックに基づいて、クエリの予算に基づいて摂動を成功させることを目指している。 本稿では,実例レベルの逆転可能性という,過去の攻撃に対するフィードバック情報を活用することを提案する。 この2種類の逆転送性を持つフレームワークは,市販のクエリベースのアタック手法と自然に組み合わせて性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-01-01T07:24:12Z)
• Targeted Adversarial Attacks on Deep Reinforcement Learning Policies via Model Checking [3.5884936187733394]
  本稿では,時間論理特性に対する敵攻撃の正確な影響を測定する指標を提案する。 また、敵攻撃に対するRLポリシーの堅牢性を検証するためのモデル検査手法も導入する。
  論文  参考訳（メタデータ） (2022-12-10T17:13:10Z)
• Understanding the Vulnerability of Skeleton-based Human Activity Recognition via Black-box Attack [53.032801921915436]
  HAR(Human Activity Recognition)は、自動運転車など、幅広い用途に採用されている。 近年,敵対的攻撃に対する脆弱性から,骨格型HAR法の堅牢性に疑問が呈されている。 攻撃者がモデルの入出力しかアクセスできない場合でも、そのような脅威が存在することを示す。 BASARと呼ばれる骨格をベースとしたHARにおいて,最初のブラックボックス攻撃手法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T09:51:28Z)
• Imitating Opponent to Win: Adversarial Policy Imitation Learning in Two-player Competitive Games [0.0]
  敵エージェントが採用する敵ポリシーは、ターゲットRLエージェントに影響を及ぼし、マルチエージェント環境では性能が良くない。 既存の研究では、被害者エージェントと対話した経験に基づいて、敵の政策を直接訓練している。 我々は、この欠点を克服する、新しい効果的な対人政策学習アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2022-10-30T18:32:02Z)
• A Tale of HodgeRank and Spectral Method: Target Attack Against Rank Aggregation Is the Fixed Point of Adversarial Game [153.74942025516853]
  ランクアグリゲーション手法の本質的な脆弱性は文献ではよく研究されていない。 本稿では,ペアデータの変更による集計結果の指定を希望する目的のある敵に焦点をあてる。 提案した標的攻撃戦略の有効性は,一連の玩具シミュレーションと実世界のデータ実験によって実証された。
  論文  参考訳（メタデータ） (2022-09-13T05:59:02Z)
• Defending Observation Attacks in Deep Reinforcement Learning via Detection and Denoising [3.2023814100005907]
  外部環境が管理する観測空間における摂動として現れる攻撃は、政策性能を低下させる。 これらの攻撃を防御するために,検出・復号化スキーマを用いた新しい防衛戦略を提案する。 我々のソリューションは攻撃中の環境でのサンプリングデータを必要としないため、トレーニング中のリスクを大幅に低減する。
  論文  参考訳（メタデータ） (2022-06-14T22:28:30Z)
• Execute Order 66: Targeted Data Poisoning for Reinforcement Learning [52.593097204559314]
  本研究は, 特定の目標状態にのみ, エージェントの誤動作を引き起こす, 強化学習のための無害な毒殺攻撃を導入する。 我々は、近年の手法である勾配アライメントを強化学習に適用することで、これを実現する。 本手法を検証し,異なる難易度を持つ2つのアタリゲームで成功例を示す。
  論文  参考訳（メタデータ） (2022-01-03T17:09:32Z)
• Adversarial Robustness of Deep Reinforcement Learning based Dynamic Recommender Systems [50.758281304737444]
  本稿では,強化学習に基づく対話型レコメンデーションシステムにおける敵例の探索と攻撃検出を提案する。 まず、入力に摂動を加え、カジュアルな要因に介入することで、異なる種類の逆例を作成する。 そこで,本研究では,人工データに基づく深層学習に基づく分類器による潜在的攻撃を検出することにより,推薦システムを強化した。
  論文  参考訳（メタデータ） (2021-12-02T04:12:24Z)
• Targeted Attack on Deep RL-based Autonomous Driving with Learned Visual Patterns [18.694795507945603]
  近年の研究では、敵の攻撃に対する深い強化学習を通じて学んだコントロールポリシーの脆弱性が実証されている。 本研究では, 物理的対象物に配置した視覚的学習パターンを用いて, 標的攻撃の実現可能性について検討する。
  論文  参考訳（メタデータ） (2021-09-16T04:59:06Z)
• Understanding Adversarial Attacks on Observations in Deep Reinforcement Learning [32.12283927682007]
  深層強化学習モデルは、観測を操作することで被害者の総報酬を減少させる敵攻撃に対して脆弱である。 関数空間における逆攻撃の問題を修正し、以前の勾配に基づく攻撃をいくつかの部分空間に分割する。 第一段階では、環境をハックして偽装ポリシーを訓練し、最下位の報酬にルーティングするトラジェクトリのセットを発見する。 本手法は,攻撃エージェントの性能に対して,既存の手法よりも厳密な理論上界を提供する。
  論文  参考訳（メタデータ） (2021-06-30T07:41:51Z)
• Guided Adversarial Attack for Evaluating and Enhancing Adversarial Defenses [59.58128343334556]
  我々は、より適切な勾配方向を見つけ、攻撃効果を高め、より効率的な対人訓練をもたらす標準損失に緩和項を導入する。 本稿では, クリーン画像の関数マッピングを用いて, 敵生成を誘導するGAMA ( Guided Adversarial Margin Attack) を提案する。 また,一段防衛における最先端性能を実現するためのGAT ( Guided Adversarial Training) を提案する。
  論文  参考訳（メタデータ） (2020-11-30T16:39:39Z)
• Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries [74.59376038272661]
  本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。 ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。 防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
  論文  参考訳（メタデータ） (2020-09-01T12:54:54Z)
• Robust Tracking against Adversarial Attacks [69.59717023941126]
  まず,ビデオシーケンス上に敵の例を生成して,敵の攻撃に対するロバスト性を改善する。 提案手法を最先端のディープトラッキングアルゴリズムに適用する。
  論文  参考訳（メタデータ） (2020-07-20T08:05:55Z)
• Policy Teaching via Environment Poisoning: Training-time Adversarial Attacks against Reinforcement Learning [33.41280432984183]
  本研究では,攻撃者が学習環境を害してエージェントに目標ポリシーの実行を強制する強化学習に対するセキュリティ上の脅威について検討する。 被害者として、未報告の無限水平問題設定における平均報酬を最大化するポリシーを見つけることを目的としたRLエージェントを考える。
  論文  参考訳（メタデータ） (2020-03-28T23:22:28Z)
• On Adaptive Attacks to Adversarial Example Defenses [123.32678153377915]
  本稿では、敵の事例に対して、防御に対する適応攻撃を行うために必要な方法論とアプローチを概説する。 これらの分析が、敵の事例に対して適切な防御攻撃を行うためのガイダンスとして役立てられることを期待している。
  論文  参考訳（メタデータ） (2020-02-19T18:50:29Z)
• Deflecting Adversarial Attacks [94.85315681223702]
  我々は、攻撃者が攻撃対象クラスに似た入力を生成することによって、敵攻撃を「防御」するこのサイクルを終わらせる新しいアプローチを提案する。 本稿ではまず,3つの検出機構を組み合わせたカプセルネットワークに基づくより強力な防御手法を提案する。
  論文  参考訳（メタデータ） (2020-02-18T06:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。