論文の概要: Model X-ray:Detecting Backdoored Models via Decision Boundary
- arxiv url: http://arxiv.org/abs/2402.17465v2
- Date: Sun, 20 Oct 2024 15:19:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:13:55.211463
- Title: Model X-ray:Detecting Backdoored Models via Decision Boundary
- Title(参考訳): モデルX線:決定境界によるバックドアモデルの検出
- Authors: Yanghao Su, Jie Zhang, Ting Xu, Tianwei Zhang, Weiming Zhang, Nenghai Yu,
- Abstract要約: バックドア攻撃はディープニューラルネットワーク(DNN)に重大な脆弱性をもたらす
図形化された2次元(2次元)決定境界の解析に基づく新しいバックドア検出手法であるモデルX線を提案する。
提案手法は,クリーンサンプルが支配する意思決定領域とラベル分布の集中度に着目した2つの戦略を含む。
- 参考スコア(独自算出の注目度): 62.675297418960355
- License:
- Abstract: Backdoor attacks pose a significant security vulnerability for deep neural networks (DNNs), enabling them to operate normally on clean inputs but manipulate predictions when specific trigger patterns occur. Currently, post-training backdoor detection approaches often operate under the assumption that the defender has knowledge of the attack information, logit output from the model, and knowledge of the model parameters. In contrast, our approach functions as a lightweight diagnostic scanning tool offering interpretability and visualization. By accessing the model to obtain hard labels, we construct decision boundaries within the convex combination of three samples. We present an intriguing observation of two phenomena in backdoored models: a noticeable shrinking of areas dominated by clean samples and a significant increase in the surrounding areas dominated by target labels. Leveraging this observation, we propose Model X-ray, a novel backdoor detection approach based on the analysis of illustrated two-dimensional (2D) decision boundaries. Our approach includes two strategies focused on the decision areas dominated by clean samples and the concentration of label distribution, and it can not only identify whether the target model is infected but also determine the target attacked label under the all-to-one attack strategy. Importantly, it accomplishes this solely by the predicted hard labels of clean inputs, regardless of any assumptions about attacks and prior knowledge of the training details of the model. Extensive experiments demonstrated that Model X-ray has outstanding effectiveness and efficiency across diverse backdoor attacks, datasets, and architectures. Besides, ablation studies on hyperparameters and more attack strategies and discussions are also provided.
- Abstract(参考訳): バックドア攻撃はディープニューラルネットワーク(DNN)に重大なセキュリティ上の脆弱性をもたらし、クリーンな入力で正常に動作させるが、特定のトリガーパターンが発生した時に予測を操作することができる。
現在、訓練後のバックドア検出アプローチは、ディフェンダーが攻撃情報、モデルからのログ出力、モデルパラメータの知識を持っているという仮定の下で動作していることが多い。
対照的に、我々のアプローチは、解釈可能性と可視化を提供する軽量な診断スキャンツールとして機能する。
ハードラベルを得るためにモデルにアクセスすることで、3つのサンプルの凸結合内で決定境界を構築する。
クリーンサンプルが支配する領域の顕著な縮小と,ターゲットラベルが支配する周辺領域の顕著な増加という,バックドアモデルにおける2つの現象の興味深い観察結果を示す。
そこで本研究では,2次元2次元決定境界解析に基づく新しいバックドア検出手法であるModel X-rayを提案する。
本手法は, クリーンサンプルが支配する決定領域とラベル分布の集中度に着目した2つの戦略を含む。
重要なのは、攻撃に関する仮定やモデルのトレーニング詳細に関する事前の知識に関係なく、クリーンな入力の予測されたハードラベルによってのみこれを達成します。
大規模な実験により、モデルX線は様々なバックドアアタック、データセット、アーキテクチャにまたがって優れた効果と効率性を持つことが示された。
さらに、ハイパーパラメーターに関するアブレーション研究や、さらなる攻撃戦略や議論も提供される。
関連論文リスト
- Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。
被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。
我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
論文 参考訳(メタデータ) (2024-04-01T16:50:54Z) - UFID: A Unified Framework for Input-level Backdoor Detection on Diffusion Models [19.46962670935554]
拡散モデルはバックドア攻撃に弱い。
悪意のある攻撃者は 裏口を注射する 訓練サンプルの一部に毒を盛った
これは、APIを通じて拡散モデルに問い合わせたり、インターネットから直接ダウンロードしたりする、ダウンストリームユーザにとって深刻な脅威となる。
論文 参考訳(メタデータ) (2024-04-01T13:21:05Z) - Model Pairing Using Embedding Translation for Backdoor Attack Detection
on Open-Set Classification Tasks [51.78558228584093]
バックドア検出のためのオープンセット分類タスクにモデルペアを用いることを提案する。
両モデルがバックドアされている場合でも,バックドアが検出可能であることを示す。
論文 参考訳(メタデータ) (2024-02-28T21:29:16Z) - OCGEC: One-class Graph Embedding Classification for DNN Backdoor Detection [18.11795712499763]
本研究では,一クラスグラフ埋め込み分類(OCGEC)と呼ばれる新しい一クラス分類フレームワークを提案する。
OCGECは、少量のクリーンデータだけでモデルレベルのバックドア検出にGNNを使用する。
他のベースラインと比較して、AUCのスコアは、多くのタスクで98%以上である。
論文 参考訳(メタデータ) (2023-12-04T02:48:40Z) - Backdoor Defense via Deconfounded Representation Learning [17.28760299048368]
我々は、信頼性の高い分類のための非定型表現を学ぶために、因果性に着想を得たバックドアディフェンス(CBD)を提案する。
CBDは、良性サンプルの予測において高い精度を維持しながら、バックドアの脅威を減らすのに有効である。
論文 参考訳(メタデータ) (2023-03-13T02:25:59Z) - Untargeted Backdoor Attack against Object Detection [69.63097724439886]
我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。
攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
論文 参考訳(メタデータ) (2022-11-02T17:05:45Z) - DeepSight: Mitigating Backdoor Attacks in Federated Learning Through
Deep Model Inspection [26.593268413299228]
フェデレートラーニング(FL)では、複数のクライアントが、データを公開せずに、プライベートデータ上でニューラルネットワーク(NN)モデルを協調的にトレーニングすることができる。
DeepSightは、バックドア攻撃を緩和するための新しいモデルフィルタリングアプローチである。
モデルの性能に悪影響を及ぼすことなく、最先端のバックドア攻撃を軽減できることを示す。
論文 参考訳(メタデータ) (2022-01-03T17:10:07Z) - Black-box Detection of Backdoor Attacks with Limited Information and
Data [56.0735480850555]
モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。
バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
論文 参考訳(メタデータ) (2021-03-24T12:06:40Z) - Hidden Backdoor Attack against Semantic Segmentation Models [60.0327238844584]
Emphbackdoor攻撃は、深層ニューラルネットワーク(DNN)に隠れたバックドアを埋め込み、トレーニングデータに毒を盛ることを目的としている。
我々は,対象ラベルを画像レベルではなくオブジェクトレベルから扱う,新たな攻撃パラダイムであるemphfine-fine-grained attackを提案する。
実験により、提案手法はわずかなトレーニングデータだけを毒殺することでセマンティックセグメンテーションモデルを攻撃することに成功した。
論文 参考訳(メタデータ) (2021-03-06T05:50:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。