論文の概要: Backdoor Attacks Against Deep Learning Systems in the Physical World
- arxiv url: http://arxiv.org/abs/2006.14580v4
- Date: Tue, 7 Sep 2021 17:42:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 03:59:29.408832
- Title: Backdoor Attacks Against Deep Learning Systems in the Physical World
- Title（参考訳）: 物理世界における深層学習システムに対するバックドア攻撃
- Authors: Emily Wenger, Josephine Passananti, Arjun Bhagoji, Yuanshun Yao,
Haitao Zheng, Ben Y. Zhao
- Abstract要約: 実世界の様々な条件下での物理的バックドア攻撃の実現可能性について検討した。
物理的なオブジェクトが課す制約を克服するように慎重に設定されている場合、物理的なバックドア攻撃は高い成功を収める。
今日の(デジタル)バックドアに対する最先端の防御のうち4つは、物理的なバックドアに対して効果がない。
- 参考スコア（独自算出の注目度）: 23.14528973663843
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Backdoor attacks embed hidden malicious behaviors into deep learning models,
which only activate and cause misclassifications on model inputs containing a
specific trigger. Existing works on backdoor attacks and defenses, however,
mostly focus on digital attacks that use digitally generated patterns as
triggers. A critical question remains unanswered: can backdoor attacks succeed
using physical objects as triggers, thus making them a credible threat against
deep learning systems in the real world? We conduct a detailed empirical study
to explore this question for facial recognition, a critical deep learning task.
Using seven physical objects as triggers, we collect a custom dataset of 3205
images of ten volunteers and use it to study the feasibility of physical
backdoor attacks under a variety of real-world conditions. Our study reveals
two key findings. First, physical backdoor attacks can be highly successful if
they are carefully configured to overcome the constraints imposed by physical
objects. In particular, the placement of successful triggers is largely
constrained by the target model's dependence on key facial features. Second,
four of today's state-of-the-art defenses against (digital) backdoors are
ineffective against physical backdoors, because the use of physical objects
breaks core assumptions used to construct these defenses. Our study confirms
that (physical) backdoor attacks are not a hypothetical phenomenon but rather
pose a serious real-world threat to critical classification tasks. We need new
and more robust defenses against backdoors in the physical world.
- Abstract（参考訳）: バックドア攻撃は、特定のトリガーを含むモデル入力をアクティベートし、誤分類させるだけで、悪意のある振る舞いをディープラーニングモデルに埋め込む。
しかし、既存のバックドア攻撃や防衛は、主にデジタル生成パターンをトリガーとして使用するデジタル攻撃に焦点を当てている。
バックドアアタックは物理的なオブジェクトをトリガーとして使用することで、現実世界のディープラーニングシステムに対する信頼性の高い脅威になるのだろうか?
我々は、この課題を顔認識、重要な深層学習の課題として探求するために、詳細な実証的研究を行っている。
7つの物理オブジェクトをトリガーとして、10人のボランティアの3205イメージのカスタムデータセットを収集し、様々な実環境下での物理的バックドア攻撃の可能性を調べる。
我々の研究は2つの重要な発見を明らかにした。
第一に、物理的オブジェクトによって課される制約を克服するために慎重に設定されている場合、物理的なバックドア攻撃は非常に成功する。
特に、成功したトリガーの配置は、ターゲットモデルの主要な顔の特徴への依存によって大きく制約される。
第二に、現在の(デジタル)バックドアに対する最先端の4つの防御は、物理的なオブジェクトの使用がこれらの防御を構築するために使われる中核的な前提を破るため、物理的なバックドアに対して効果がない。
我々の研究は、(物理的)バックドア攻撃は仮説的な現象ではなく、むしろ重要な分類タスクに深刻な現実世界の脅威をもたらすことを確認した。
物理的な世界のバックドアに対する、新しい、より強固な防御が必要です。
関連論文リスト
- On the Credibility of Backdoor Attacks Against Object Detectors in the Physical World [27.581277955830746]
アプリケーション設定における物理オブジェクトトリガーによるバックドア攻撃の有効性について検討する。
我々は、MORPHingと呼ばれる新しいコスト効率の高い攻撃方法を構築し、検出タスクのユニークな性質を取り入れた。
私たちは、現実世界のバックドア攻撃の広範なビデオテストセットをリリースしました。
論文 参考訳（メタデータ） (2024-08-22T04:29:48Z) - Robust Backdoor Attacks on Object Detection in Real World [8.910615149604201]
攻撃対象の異なるサイズに対応するために,可変サイズバックドアトリガを提案する。
さらに,悪質な対人訓練というバックドアトレーニングを提案し,バックドア物体検出装置が物理的ノイズでトリガの特徴を学習できるようにした。
論文 参考訳（メタデータ） (2023-09-16T11:09:08Z) - Rethinking Backdoor Attacks [122.1008188058615]
バックドア攻撃では、悪意ある構築されたバックドアの例をトレーニングセットに挿入し、結果のモデルを操作に脆弱にする。
このような攻撃に対する防御は、典型的には、これらの挿入された例をトレーニングセットの外れ値として見ることと、堅牢な統計からのテクニックを使用してそれらを検出し、削除することである。
トレーニングデータ分布に関する構造情報がなければ,バックドア攻撃は自然に発生するデータの特徴と区別できないことを示す。
論文 参考訳（メタデータ） (2023-07-19T17:44:54Z) - Untargeted Backdoor Attack against Object Detection [69.63097724439886]
我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。
攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
論文 参考訳（メタデータ） (2022-11-02T17:05:45Z) - BATT: Backdoor Attack with Transformation-based Triggers [72.61840273364311]
ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。
バックドアの敵は、敵が特定したトリガーパターンによって活性化される隠れたバックドアを注入する。
最近の研究によると、既存の攻撃のほとんどは現実世界で失敗した。
論文 参考訳（メタデータ） (2022-11-02T16:03:43Z) - Natural Backdoor Datasets [27.406510934213387]
物理的なバックドアは、物理的物体をトリガーとして使用し、最近になって特定されたばかりであり、デジタルトリガーバックドアをターゲットとするすべての防御に対して質的に異なる。
物理バックドアの研究は、分類の対象と同一位置にある物理物体の実際の画像を含む大きなデータセットへのアクセスによって制限される。
そこで本稿では,既存のデータセットにおける潜在的なトリガのサブセットと,それらが有毒である可能性のある特定のクラスを,的確に識別する手法を提案する。
論文 参考訳（メタデータ） (2022-06-21T18:52:25Z) - Dangerous Cloaking: Natural Trigger based Backdoor Attacks on Object
Detectors in the Physical World [20.385028861767218]
この研究は、既存の物体検出器が物理的バックドア攻撃の影響を受けやすいことを実証している。
このようなバックドアを2つの悪用可能な攻撃シナリオからオブジェクト検出器に埋め込むことができることを示す。
我々は, アンカーベースYolo-V3, Yolo-V4, アンカーフリーCenterNetの3つの人気物体検出アルゴリズムを評価する。
論文 参考訳（メタデータ） (2022-01-21T10:11:27Z) - Check Your Other Door! Establishing Backdoor Attacks in the Frequency
Domain [80.24811082454367]
検出不能で強力なバックドア攻撃を確立するために周波数領域を利用する利点を示す。
また、周波数ベースのバックドア攻撃を成功させる2つの防御方法と、攻撃者がそれらを回避できる可能性を示す。
論文 参考訳（メタデータ） (2021-09-12T12:44:52Z) - Backdoor Attack in the Physical World [49.64799477792172]
ディープニューラルネットワーク(DNN)に隠れたバックドアを注入するバックドア攻撃
既存のバックドア攻撃のほとんどは、トレーニングおよびテスト画像にまたがる静的トリガ、すなわち$$トリガの設定を採用した。
テスト画像のトリガーがトレーニングで使用されるものと一致していない場合、この攻撃パラダイムは脆弱であることを示す。
論文 参考訳（メタデータ） (2021-04-06T08:37:33Z) - Don't Trigger Me! A Triggerless Backdoor Attack Against Deep Neural
Networks [22.28270345106827]
現在の最先端のバックドア攻撃では、ターゲットモデルがバックドアをアクティベートするために入力を変更する必要がある。
このトリガーは物理世界でのバックドア攻撃の難易度を高めるだけでなく、複数の防御機構によって容易に検出できる。
我々は、バックドアをトリガーする入力を変更する必要のない、ディープニューラルネットワークに対する最初のトリガーレスバックドア攻撃を示す。
論文 参考訳（メタデータ） (2020-10-07T09:01:39Z) - Clean-Label Backdoor Attacks on Video Recognition Models [87.46539956587908]
画像バックドア攻撃は、ビデオでははるかに効果が低いことを示す。
本稿では,映像認識モデルに対するバックドアトリガとして,ユニバーサル・ディバイサル・トリガーを提案する。
提案したバックドア攻撃は,最先端のバックドア防御・検出手法に耐性がある。
論文 参考訳（メタデータ） (2020-03-06T04:51:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。