論文の概要: Backdoor Detection in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2202.03609v1
• Date: Tue, 8 Feb 2022 02:49:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-09 13:44:44.163320
• Title: Backdoor Detection in Reinforcement Learning
• Title（参考訳）: 強化学習におけるバックドア検出
• Authors: Junfeng Guo, Ang Li, Cong Liu
• Abstract要約: 本稿では,この安全性の脆弱性に対処するために,RLバックドア検出の問題点を提案する。 この観測から着想を得て, トロイの木馬エージェントに近似的なトリガ動作を求めるための強化学習ソリューションTrojanSeekerを提案する。
• 参考スコア（独自算出の注目度）: 20.549251685977502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While the real world application of reinforcement learning (RL) is becoming popular, the safety concern and the robustness of an RL system require more attention. A recent work reveals that, in a multi-agent RL environment, backdoor trigger actions can be injected into a victim agent (a.k.a. trojan agent), which can result in a catastrophic failure as soon as it sees the backdoor trigger action. We propose the problem of RL Backdoor Detection, aiming to address this safety vulnerability. An interesting observation we drew from extensive empirical studies is a trigger smoothness property where normal actions similar to the backdoor trigger actions can also trigger low performance of the trojan agent. Inspired by this observation, we propose a reinforcement learning solution TrojanSeeker to find approximate trigger actions for the trojan agents, and further propose an efficient approach to mitigate the trojan agents based on machine unlearning. Experiments show that our approach can correctly distinguish and mitigate all the trojan agents across various types of agents and environments.
• Abstract（参考訳）: 実世界の強化学習(RL)が普及しつつある一方で,RLシステムの安全性や堅牢性には注意が必要である。 最近の研究によると、マルチエージェントのRL環境では、バックドアトリガーアクションが被害者のエージェント(すなわちトロイの木馬のエージェント)に注入され、バックドアトリガーアクションを見ると破滅的な失敗を引き起こす可能性がある。 我々は,この安全性脆弱性に対処するために,rlバックドア検出の問題を提案する。 広範な実証実験から得られた興味深い観察は、バックドアトリガー動作と同様の正常な作用がトロヤン剤の低性能を惹起するトリガー滑らか性である。 本研究は, トロイの木馬エージェントに近似的なトリガー動作を求めるための強化学習ソリューションであるTrojanSeekerを提案し, さらに, マシン・アンラーニングに基づくトロイの木馬エージェントの軽減のための効率的なアプローチを提案する。 実験により,すべてのトロイの木馬エージェントを,様々な種類のエージェントや環境にまたがって正しく識別し緩和できることを示した。

関連論文リスト

• Breaking ReAct Agents: Foot-in-the-Door Attack Will Get You In [5.65782619470663]
  本稿では,直感的かつ効果的な手法でReActエージェントをどのように活用できるかを検討する。 実験の結果,間接的プロンプトインジェクション攻撃は,後続の悪意ある行為を行うエージェントの可能性を著しく高めることができることがわかった。 この脆弱性を軽減するために,エージェントが実行中の動作の安全性を再評価する簡単なリフレクション機構の実装を提案する。
  論文  参考訳（メタデータ） (2024-10-22T12:24:41Z)
• Efficient Backdoor Defense in Multimodal Contrastive Learning: A Token-Level Unlearning Method for Mitigating Threats [52.94388672185062]
  本稿では,機械学習という概念を用いて,バックドアの脅威に対する効果的な防御機構を提案する。 これは、モデルがバックドアの脆弱性を迅速に学習するのを助けるために、小さな毒のサンプルを戦略的に作成することを必要とする。 バックドア・アンラーニング・プロセスでは,新しいトークン・ベースの非ラーニング・トレーニング・システムを提案する。
  論文  参考訳（メタデータ） (2024-09-29T02:55:38Z)
• A Spatiotemporal Stealthy Backdoor Attack against Cooperative Multi-Agent Deep Reinforcement Learning [12.535344011523897]
  協調型多エージェント深層強化学習(c-MADRL)は、バックドア攻撃の脅威にさらされている。 我々は,c-MADRLに対する新たなバックドア攻撃を提案し,単一のエージェントにのみバックドアを埋め込むことで,マルチエージェントチーム全体を攻撃する。 私たちのバックドア攻撃は高い攻撃成功率(91.6%)を達成でき、クリーンパフォーマンスのばらつきは低い(3.7%)。
  論文  参考訳（メタデータ） (2024-09-12T06:17:37Z)
• Unelicitable Backdoors in Language Models via Cryptographic Transformer Circuits [1.1118610055902116]
  自己回帰型トランスフォーマーモデルに新しいバックドアのクラスを導入する。 無効性により、ディフェンダーがバックドアを起動するのを防ぎ、デプロイ前に評価や検出が不可能になる。 我々は, 暗号技術を用いることで, 新規な構築が不必要であるだけでなく, 良好な堅牢性を有することを示す。
  論文  参考訳（メタデータ） (2024-06-03T17:55:41Z)
• SEEP: Training Dynamics Grounds Latent Representation Search for Mitigating Backdoor Poisoning Attacks [53.28390057407576]
  現代のNLPモデルは、様々なソースから引き出された公開データセットでしばしば訓練される。 データ中毒攻撃は、攻撃者が設計した方法でモデルの振る舞いを操作できる。 バックドア攻撃に伴うリスクを軽減するために、いくつかの戦略が提案されている。
  論文  参考訳（メタデータ） (2024-05-19T14:50:09Z)
• BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive Learning [85.2564206440109]
  本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。 バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
  論文  参考訳（メタデータ） (2023-11-20T02:21:49Z)
• Recover Triggered States: Protect Model Against Backdoor Attack in Reinforcement Learning [23.94769537680776]
  バックドア攻撃は、悪意のあるユーザーが環境を操作したり、トレーニングデータを破損させたりすることで、トレーニングされたエージェントにバックドアを挿入することができる。 本稿では,バックドア攻撃から被害者エージェントを効果的に保護する新しい手法であるリカバリトリガードステイト(RTS)手法を提案する。
  論文  参考訳（メタデータ） (2023-04-01T08:00:32Z)
• FreeEagle: Detecting Complex Neural Trojans in Data-Free Cases [50.065022493142116]
  バックドア攻撃とも呼ばれるディープニューラルネットワークに対するトロイの木馬攻撃は、人工知能に対する典型的な脅威である。 FreeEagleは、複雑なバックドア攻撃を効果的に検出できる最初のデータフリーバックドア検出方法である。
  論文  参考訳（メタデータ） (2023-02-28T11:31:29Z)
• An anomaly detection approach for backdoored neural networks: face recognition as a case study [77.92020418343022]
  本稿では,異常検出の原理に基づく新しいバックドアネットワーク検出手法を提案する。 バックドアネットワークの新たなデータセット上で本手法を検証し,完全スコアで検出可能性について報告する。
  論文  参考訳（メタデータ） (2022-08-22T12:14:13Z)
• BACKDOORL: Backdoor Attack against Competitive Reinforcement Learning [80.99426477001619]
  バックドア攻撃を複数のエージェントを含むより複雑なRLシステムに移行する。 概念実証として、敵のエージェントが被害者エージェントのバックドアを独自のアクションでトリガーできることを実証します。 その結果, バックドアが作動すると, 有効でない場合と比較して, 被害者の勝利率は17%から37%に低下することがわかった。
  論文  参考訳（メタデータ） (2021-05-02T23:47:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。