論文の概要: Recover Triggered States: Protect Model Against Backdoor Attack in
Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2304.00252v3
- Date: Mon, 10 Apr 2023 06:32:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 20:08:32.888776
- Title: Recover Triggered States: Protect Model Against Backdoor Attack in
Reinforcement Learning
- Title(参考訳): Recover Triggered States: 強化学習におけるバックドア攻撃に対する保護モデル
- Authors: Hao Chen, Chen Gong, Yizhe Wang, Xinwen Hou
- Abstract要約: バックドア攻撃は、悪意のあるユーザーが環境を操作したり、トレーニングデータを破損させたりすることで、トレーニングされたエージェントにバックドアを挿入することができる。
本稿では,バックドア攻撃から被害者エージェントを効果的に保護する新しい手法であるリカバリトリガードステイト(RTS)手法を提案する。
- 参考スコア(独自算出の注目度): 23.94769537680776
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A backdoor attack allows a malicious user to manipulate the environment or
corrupt the training data, thus inserting a backdoor into the trained agent.
Such attacks compromise the RL system's reliability, leading to potentially
catastrophic results in various key fields. In contrast, relatively limited
research has investigated effective defenses against backdoor attacks in RL.
This paper proposes the Recovery Triggered States (RTS) method, a novel
approach that effectively protects the victim agents from backdoor attacks. RTS
involves building a surrogate network to approximate the dynamics model.
Developers can then recover the environment from the triggered state to a clean
state, thereby preventing attackers from activating backdoors hidden in the
agent by presenting the trigger. When training the surrogate to predict states,
we incorporate agent action information to reduce the discrepancy between the
actions taken by the agent on predicted states and the actions taken on real
states. RTS is the first approach to defend against backdoor attacks in a
single-agent setting. Our results show that using RTS, the cumulative reward
only decreased by 1.41% under the backdoor attack.
- Abstract(参考訳): バックドア攻撃は、悪意のあるユーザーが環境を操作したり、トレーニングデータを破損させたりすることで、トレーニングされたエージェントにバックドアを挿入することができる。
このような攻撃はRLシステムの信頼性を損なうものであり、様々な分野で破滅的な結果をもたらす可能性がある。
対照的に、比較的限られた研究は、RLのバックドア攻撃に対する効果的な防御について研究している。
本稿では,バックドア攻撃から被害者エージェントを効果的に保護する新しい手法であるリカバリトリガードステイト(RTS)手法を提案する。
RTSは、ダイナミクスモデルを近似するために代理ネットワークを構築する。
開発者はトリガの状態からクリーンな状態に環境を回復できるため、攻撃者がトリガーを提示することでエージェント内に隠されたバックドアを活性化するのを防ぐことができる。
シュロゲートをトレーニングして状態を予測した場合、エージェントアクション情報を組み込んで、エージェントが予測した状態に対するアクションと実際の状態に対するアクションとの相違を低減する。
RTSは、単一エージェント環境でバックドア攻撃を防御する最初のアプローチである。
以上の結果から,RTSの累積報酬はバックドア攻撃で1.41%減少した。
関連論文リスト
- BELT: Old-School Backdoor Attacks can Evade the State-of-the-Art Defense
with Backdoor Exclusivity Lifting [23.511329196409722]
本稿では,バックドア攻撃の新たな特徴,すなわちバックドア排他性について検討する。
バックドアの排他性は、入力変動の存在下で有効なバックドアトリガーの能力を測定する。
提案手法は, 従来の4つのバックドア攻撃のステルス性を大幅に向上させ, 攻撃成功率と通常の実用性にはほとんど費用がかからない。
論文 参考訳(メタデータ) (2023-12-08T08:35:16Z) - BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive
Learning [85.2564206440109]
本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。
バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
論文 参考訳(メタデータ) (2023-11-20T02:21:49Z) - Rethinking Backdoor Attacks [122.1008188058615]
バックドア攻撃では、悪意ある構築されたバックドアの例をトレーニングセットに挿入し、結果のモデルを操作に脆弱にする。
このような攻撃に対する防御は、典型的には、これらの挿入された例をトレーニングセットの外れ値として見ることと、堅牢な統計からのテクニックを使用してそれらを検出し、削除することである。
トレーニングデータ分布に関する構造情報がなければ,バックドア攻撃は自然に発生するデータの特徴と区別できないことを示す。
論文 参考訳(メタデータ) (2023-07-19T17:44:54Z) - Backdoor Attack with Sparse and Invisible Trigger [60.84183404621145]
ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。
バックドアアタックは、訓練段階の脅威を脅かしている。
軽度で目に見えないバックドアアタック(SIBA)を提案する。
論文 参考訳(メタデータ) (2023-05-11T10:05:57Z) - Untargeted Backdoor Attack against Object Detection [69.63097724439886]
我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。
攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
論文 参考訳(メタデータ) (2022-11-02T17:05:45Z) - On the Effectiveness of Adversarial Training against Backdoor Attacks [111.8963365326168]
バックドアモデルは、事前に定義されたトリガーパターンが存在する場合、常にターゲットクラスを予測する。
一般的には、敵の訓練はバックドア攻撃に対する防御であると信じられている。
本稿では,様々なバックドア攻撃に対して良好な堅牢性を提供するハイブリッド戦略を提案する。
論文 参考訳(メタデータ) (2022-02-22T02:24:46Z) - Backdoors Stuck At The Frontdoor: Multi-Agent Backdoor Attacks That
Backfire [8.782809316491948]
複数の攻撃者が同時に被害者モデルをバックドアしようとするマルチエージェントバックドア攻撃シナリオについて検討する。
エージェントが集団攻撃の成功率の低いゲームで一貫したバックファイリング現象が観察される。
その結果,実践環境におけるバックドア・ディフェンス研究の再評価の動機となった。
論文 参考訳(メタデータ) (2022-01-28T16:11:40Z) - Rethink Stealthy Backdoor Attacks in Natural Language Processing [35.6803390044542]
盗んだバックドア攻撃の能力は、バックドア攻撃に分類されると過大評価される。
クリーン状態と毒素状態モデルとのASR差を測定するASRD(Attack successful rate difference)と呼ばれる新しい指標を提案する。
本手法は,ステルスなバックドア攻撃に対する最先端の防御方法よりも優れた性能を実現する。
論文 参考訳(メタデータ) (2022-01-09T12:34:12Z) - Widen The Backdoor To Let More Attackers In [24.540853975732922]
マルチエージェントバックドア攻撃のシナリオについて検討し、複数の非衝突攻撃者が共有データセットにトリガサンプルを挿入する。
攻撃者数の増加は攻撃者の攻撃成功率を減少させる。
そして、この現象を利用して攻撃者の集合的ASRを最小化し、防御者の堅牢性を最大化する。
論文 参考訳(メタデータ) (2021-10-09T13:53:57Z) - BACKDOORL: Backdoor Attack against Competitive Reinforcement Learning [80.99426477001619]
バックドア攻撃を複数のエージェントを含むより複雑なRLシステムに移行する。
概念実証として、敵のエージェントが被害者エージェントのバックドアを独自のアクションでトリガーできることを実証します。
その結果, バックドアが作動すると, 有効でない場合と比較して, 被害者の勝利率は17%から37%に低下することがわかった。
論文 参考訳(メタデータ) (2021-05-02T23:47:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。