論文の概要: Towards Robust Object Detection: Identifying and Removing Backdoors via Module Inconsistency Analysis
- arxiv url: http://arxiv.org/abs/2409.16057v2
- Date: Mon, 30 Sep 2024 08:27:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 18:04:33.288415
- Title: Towards Robust Object Detection: Identifying and Removing Backdoors via Module Inconsistency Analysis
- Title(参考訳): ロバスト物体検出に向けて:モジュール不整合解析によるバックドアの同定と除去
- Authors: Xianda Zhang, Siyuan Liang,
- Abstract要約: オブジェクト検出モデルに適したバックドアディフェンスフレームワークを提案する。
不整合を定量化し解析することにより、バックドアを検出するアルゴリズムを開発する。
最先端の2段階物体検出器を用いた実験により, バックドア除去率の90%向上が得られた。
- 参考スコア(独自算出の注目度): 5.8634235309501435
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Object detection models, widely used in security-critical applications, are vulnerable to backdoor attacks that cause targeted misclassifications when triggered by specific patterns. Existing backdoor defense techniques, primarily designed for simpler models like image classifiers, often fail to effectively detect and remove backdoors in object detectors. We propose a backdoor defense framework tailored to object detection models, based on the observation that backdoor attacks cause significant inconsistencies between local modules' behaviors, such as the Region Proposal Network (RPN) and classification head. By quantifying and analyzing these inconsistencies, we develop an algorithm to detect backdoors. We find that the inconsistent module is usually the main source of backdoor behavior, leading to a removal method that localizes the affected module, resets its parameters, and fine-tunes the model on a small clean dataset. Extensive experiments with state-of-the-art two-stage object detectors show our method achieves a 90% improvement in backdoor removal rate over fine-tuning baselines, while limiting clean data accuracy loss to less than 4%. To the best of our knowledge, this work presents the first approach that addresses both the detection and removal of backdoors in two-stage object detection models, advancing the field of securing these complex systems against backdoor attacks.
- Abstract(参考訳): セキュリティクリティカルなアプリケーションで広く使用されているオブジェクト検出モデルは、特定のパターンによって引き起こされたターゲットの誤分類を引き起こすバックドア攻撃に対して脆弱である。
既存のバックドア防御技術は、主に画像分類器のようなより単純なモデルのために設計されており、オブジェクト検出器のバックドアを効果的に検出して除去することができないことが多い。
本研究では,オブジェクト検出モデルに適したバックドア防御フレームワークを提案する。これは,地域提案ネットワーク (RPN) や分類ヘッダーなどのローカルモジュールの動作に,バックドア攻撃が重大な不整合を生じさせるという観測に基づいている。
これらの矛盾を定量化し解析することにより、バックドアを検出するアルゴリズムを開発する。
不整合モジュールは、通常、バックドア動作の主源であり、影響を受けるモジュールをローカライズし、パラメータをリセットし、小さなクリーンデータセット上でモデルを微調整する除去方法につながる。
最先端の2段階物体検出器による広範囲な実験により, 精度の低下を4%未満に抑えながら, バックドア除去率を90%向上させることができた。
我々の知る限り、この研究は2段階の物体検出モデルにおいて、バックドアの検出と除去の両方に対処する最初のアプローチを示し、これらの複雑なシステムをバックドア攻撃から保護する分野を前進させる。
関連論文リスト
- Rethinking Backdoor Detection Evaluation for Language Models [45.34806299803778]
バックドア攻撃は、公開された言語モデルに依存する実践者にとって大きなセキュリティリスクをもたらす。
バックドア検出方法は、リリースされたモデルにバックドアが含まれているかどうかを検出することを目的としている。
既存のバックドア検出手法は標準ベンチマークでバックドアモデルを検出するのに高い精度を持っているが、野生のバックドアを堅牢に識別できるかどうかは不明である。
論文 参考訳(メタデータ) (2024-08-31T09:19:39Z) - Diff-Cleanse: Identifying and Mitigating Backdoor Attacks in Diffusion Models [3.134071086568745]
拡散モデル(DM)は、今日では最も先進的な生成モデルの一つと見なされている。
近年の研究では、DMはバックドア攻撃に弱いことが示唆されている。
この脆弱性は、モデル所有者に評判を害するなど、重大なリスクをもたらす。
Diff-Cleanseは、DM用に特別に設計された2段階のバックドア防御フレームワークである。
論文 参考訳(メタデータ) (2024-07-31T03:54:41Z) - Model Pairing Using Embedding Translation for Backdoor Attack Detection on Open-Set Classification Tasks [63.269788236474234]
バックドア検出のためのオープンセット分類タスクにモデルペアを用いることを提案する。
このスコアは、異なるアーキテクチャのモデルがあるにもかかわらず、バックドアの存在を示す指標であることを示している。
この技術は、オープンセット分類タスク用に設計されたモデル上のバックドアの検出を可能にするが、文献ではほとんど研究されていない。
論文 参考訳(メタデータ) (2024-02-28T21:29:16Z) - FreeEagle: Detecting Complex Neural Trojans in Data-Free Cases [50.065022493142116]
バックドア攻撃とも呼ばれるディープニューラルネットワークに対するトロイの木馬攻撃は、人工知能に対する典型的な脅威である。
FreeEagleは、複雑なバックドア攻撃を効果的に検出できる最初のデータフリーバックドア検出方法である。
論文 参考訳(メタデータ) (2023-02-28T11:31:29Z) - Untargeted Backdoor Attack against Object Detection [69.63097724439886]
我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。
攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
論文 参考訳(メタデータ) (2022-11-02T17:05:45Z) - An anomaly detection approach for backdoored neural networks: face
recognition as a case study [77.92020418343022]
本稿では,異常検出の原理に基づく新しいバックドアネットワーク検出手法を提案する。
バックドアネットワークの新たなデータセット上で本手法を検証し,完全スコアで検出可能性について報告する。
論文 参考訳(メタデータ) (2022-08-22T12:14:13Z) - BadDet: Backdoor Attacks on Object Detection [42.40418007499009]
対象物検出のための4種類のバックドア攻撃を提案する。
トリガーは、ターゲットクラスのオブジェクトを誤って生成することができる。
単一のトリガーは、イメージ内のすべてのオブジェクトの予測をターゲットクラスに変更することができる。
論文 参考訳(メタデータ) (2022-05-28T18:02:11Z) - Scalable Backdoor Detection in Neural Networks [61.39635364047679]
ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。
本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。
実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
論文 参考訳(メタデータ) (2020-06-10T04:12:53Z) - Exposing Backdoors in Robust Machine Learning Models [0.5672132510411463]
逆向きに堅牢なモデルがバックドア攻撃の影響を受けやすいことを示す。
バックドアはそのようなモデルの 特徴表現に反映されます
この観測は、AEGISと呼ばれる検出技術を用いて、バックドア感染モデルを検出するために利用される。
論文 参考訳(メタデータ) (2020-02-25T04:45:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。