論文の概要: Mudjacking: Patching Backdoor Vulnerabilities in Foundation Models
- arxiv url: http://arxiv.org/abs/2402.14977v1
- Date: Thu, 22 Feb 2024 21:31:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 16:17:58.337437
- Title: Mudjacking: Patching Backdoor Vulnerabilities in Foundation Models
- Title(参考訳): Mudjacking: ファンデーションモデルにおけるバックドア脆弱性の対処
- Authors: Hongbin Liu, Michael K. Reiter, Neil Zhenqiang Gong
- Abstract要約: ファンデーションモデルはバックドア攻撃に対して脆弱であり、バックドアのファンデーションモデルはAIエコシステムの単一障害点である。
バックドアを削除するために基礎モデルをパッチする最初の方法であるMudjackingを提案する。
この結果から,Mudjackingはその実用性を維持しつつ,基礎モデルからバックドアを除去できることが示唆された。
- 参考スコア(独自算出の注目度): 55.038561766001514
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation model has become the backbone of the AI ecosystem. In particular,
a foundation model can be used as a general-purpose feature extractor to build
various downstream classifiers. However, foundation models are vulnerable to
backdoor attacks and a backdoored foundation model is a single-point-of-failure
of the AI ecosystem, e.g., multiple downstream classifiers inherit the backdoor
vulnerabilities simultaneously. In this work, we propose Mudjacking, the first
method to patch foundation models to remove backdoors. Specifically, given a
misclassified trigger-embedded input detected after a backdoored foundation
model is deployed, Mudjacking adjusts the parameters of the foundation model to
remove the backdoor. We formulate patching a foundation model as an
optimization problem and propose a gradient descent based method to solve it.
We evaluate Mudjacking on both vision and language foundation models, eleven
benchmark datasets, five existing backdoor attacks, and thirteen adaptive
backdoor attacks. Our results show that Mudjacking can remove backdoor from a
foundation model while maintaining its utility.
- Abstract(参考訳): ファンデーションモデルは、AIエコシステムのバックボーンとなっている。
特に、様々な下流分類器を構築するための汎用特徴抽出器として基礎モデルを用いることができる。
しかし、基盤モデルはバックドア攻撃に対して脆弱であり、バックドアの基盤モデルはaiエコシステムの単一障害(例えば、複数の下流の分類器がバックドアの脆弱性を同時に継承する)である。
本研究では,バックドアの除去に基礎モデルをパッチする最初の方法であるMudjackingを提案する。
具体的には、バックドアモデルがデプロイされた後に検出された誤分類トリガー埋め込み入力に対して、Mudjackingはファンデーションモデルのパラメータを調整してバックドアを除去する。
最適化問題として基礎モデルのパッチを定式化し,その解法として勾配降下法を提案する。
視覚と言語の基礎モデル、11のベンチマークデータセット、既存の5つのバックドア攻撃、13の適応バックドア攻撃でMudjackingを評価する。
その結果,マッドジャックは実用性を維持しつつ,基礎モデルからバックドアを除去できることがわかった。
関連論文リスト
- Model Pairing Using Embedding Translation for Backdoor Attack Detection
on Open-Set Classification Tasks [51.78558228584093]
バックドア検出のためのオープンセット分類タスクにモデルペアを用いることを提案する。
両モデルがバックドアされている場合でも,バックドアが検出可能であることを示す。
論文 参考訳(メタデータ) (2024-02-28T21:29:16Z) - Architectural Neural Backdoors from First Principles [44.83442736206931]
アーキテクチャバックドアは、ネットワークアーキテクチャの定義内に埋め込まれたバックドアです。
この作業では、人間の監督なしにアーキテクチャのバックドアとして使用できる任意のトリガー検出器を構築します。
アーキテクチャのバックドアに対する防御について議論し、MLシステムの完全性を保護するための堅牢で包括的な戦略の必要性を強調した。
論文 参考訳(メタデータ) (2024-02-10T13:57:51Z) - BaDExpert: Extracting Backdoor Functionality for Accurate Backdoor Input
Detection [42.021282816470794]
我々は,Deep Neural Networks(DNN)に対するバックドア攻撃に対する新しい防御法を提案する。
私たちの防衛は、モデルの生成方法とは独立して機能する開発後防衛のカテゴリに分類されます。
モデル推論におけるバックドア入力をフィルタリングする高精度なバックドア入力検出装置の実現可能性を示す。
論文 参考訳(メタデータ) (2023-08-23T21:47:06Z) - PatchBackdoor: Backdoor Attack against Deep Neural Networks without
Model Modification [0.0]
バックドア攻撃は、安全クリティカルなシナリオにおけるディープラーニングシステムに対する大きな脅威である。
本稿では,モデル変更なしにバックドア攻撃が可能であることを示す。
PatchBackdoorを現実のシナリオで実装し、攻撃がまだ脅威であることを示す。
論文 参考訳(メタデータ) (2023-08-22T23:02:06Z) - Backdoor for Debias: Mitigating Model Bias with Backdoor Attack-based
Artificial Bias [97.78479322548215]
バックドア攻撃は,標準訓練で得られたモデルバイアスに類似した人工バイアスを構築できることがわかった。
本稿では,知識蒸留に基づくバックドア脱バイアスフレームワークを提案し,モデルバイアスを元のデータから効果的に低減する。
この作業はバックドア攻撃の理解を深め、有益なアプリケーションの可能性を強調します。
論文 参考訳(メタデータ) (2023-03-01T12:31:07Z) - Single Image Backdoor Inversion via Robust Smoothed Classifiers [76.66635991456336]
隠れたバックドアを1枚の画像で復元できるバックドア・インバージョンのための新しいアプローチを提案する。
本研究では,1枚の画像で隠れたバックドアを復元できる,バックドア・インバージョンのための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-03-01T03:37:42Z) - Architectural Backdoors in Neural Networks [27.315196801989032]
モデルアーキテクチャの内部に隠れる新しい種類のバックドアアタックを導入します。
これらのバックドアの実装は簡単で、例えばバックドアモデルアーキテクチャ用のオープンソースコードを公開している。
私たちは、モデルアーキテクチャのバックドアが真の脅威であり、他のアプローチとは異なり、ゼロから完全な再トレーニングに耐えられることを実証しています。
論文 参考訳(メタデータ) (2022-06-15T22:44:03Z) - Backdoor Attacks on Federated Learning with Lottery Ticket Hypothesis [49.38856542573576]
フェデレート学習におけるエッジデバイスは通常、データセンターのサーバに比べて計算と通信のリソースがはるかに限られている。
本研究は,ロタリー・ティケットモデルが元の密集モデルと同様にバックドア攻撃に対して等しく脆弱であることを実証的に実証する。
論文 参考訳(メタデータ) (2021-09-22T04:19:59Z) - Black-box Detection of Backdoor Attacks with Limited Information and
Data [56.0735480850555]
モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。
バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
論文 参考訳(メタデータ) (2021-03-24T12:06:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。