論文の概要: Red Alarm for Pre-trained Models: Universal Vulnerability to Neuron-Level Backdoor Attacks

• arxiv url: http://arxiv.org/abs/2101.06969v5
• Date: Fri, 20 Oct 2023 08:32:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 16:00:24.537712
• Title: Red Alarm for Pre-trained Models: Universal Vulnerability to Neuron-Level Backdoor Attacks
• Title（参考訳）: 訓練済みモデルのためのレッドアラーム:ニューロンレベルバックドア攻撃に対する普遍的脆弱性
• Authors: Zhengyan Zhang, Guangxuan Xiao, Yongwei Li, Tian Lv, Fanchao Qi, Zhiyuan Liu, Yasheng Wang, Xin Jiang, Maosong Sun
• Abstract要約: 事前訓練されたモデル(PTM)は、下流の様々なタスクで広く使われている。 本研究では,バックドアアタックによって微調整されたPTMを容易に制御できるPTMの普遍的脆弱性を実証する。
• 参考スコア（独自算出の注目度）: 98.15243373574518
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained models (PTMs) have been widely used in various downstream tasks. The parameters of PTMs are distributed on the Internet and may suffer backdoor attacks. In this work, we demonstrate the universal vulnerability of PTMs, where fine-tuned PTMs can be easily controlled by backdoor attacks in arbitrary downstream tasks. Specifically, attackers can add a simple pre-training task, which restricts the output representations of trigger instances to pre-defined vectors, namely neuron-level backdoor attack (NeuBA). If the backdoor functionality is not eliminated during fine-tuning, the triggers can make the fine-tuned model predict fixed labels by pre-defined vectors. In the experiments of both natural language processing (NLP) and computer vision (CV), we show that NeuBA absolutely controls the predictions for trigger instances without any knowledge of downstream tasks. Finally, we apply several defense methods to NeuBA and find that model pruning is a promising direction to resist NeuBA by excluding backdoored neurons. Our findings sound a red alarm for the wide use of PTMs. Our source code and models are available at \url{https://github.com/thunlp/NeuBA}.
• Abstract（参考訳）: 事前訓練モデル(ptm)は様々な下流タスクで広く使われている。 PTMのパラメータはインターネット上に分散しており、バックドア攻撃に悩まされる可能性がある。 本研究では,任意の下流タスクにおいてバックドアアタックによって微調整されたPTMを容易に制御できるPTMの普遍的脆弱性を実証する。 具体的には、攻撃者は単純な事前トレーニングタスクを追加でき、トリガーインスタンスの出力表現を事前に定義されたベクトル、すなわちニューロンレベルのバックドア攻撃(NeuBA)に制限することができる。 微調整中にバックドア機能が削除されない場合、トリガーは事前に定義されたベクトルによって、微調整されたモデルが固定ラベルを予測する。 自然言語処理(NLP)とコンピュータビジョン(CV)の両方の実験において、NeuBAは下流タスクの知識のないトリガインスタンスの予測を確実に制御することを示した。 最後に、NeuBAにいくつかの防御方法を適用し、モデルプルーニングは、バックドアニューロンを排除して、NeuBAに抵抗する有望な方向であることを示す。 私たちの発見は、ptmを広く使うための赤いアラームのように聞こえる。 我々のソースコードとモデルは \url{https://github.com/thunlp/NeuBA} で入手できる。

関連論文リスト

• Model Supply Chain Poisoning: Backdooring Pre-trained Models via Embedding Indistinguishability [61.549465258257115]
  そこで我々は,PTMに埋め込まれたバックドアをモデルサプライチェーンに効率的に移動させる,新しい,より厳しいバックドア攻撃であるTransTrojを提案する。 実験の結果,本手法はSOTAタスク非依存のバックドア攻撃より有意に優れていた。
  論文  参考訳（メタデータ） (2024-01-29T04:35:48Z)
• Reconstructive Neuron Pruning for Backdoor Defense [96.21882565556072]
  本稿では, バックドアニューロンの露出とプルーンの抑制を目的とした, emphReconstructive Neuron Pruning (RNP) という新しい防御法を提案する。 RNPでは、アンラーニングはニューロンレベルで行われ、リカバリはフィルタレベルで行われ、非対称再構成学習手順を形成する。 このような非対称なプロセスは、少数のクリーンサンプルだけが、広範囲の攻撃によって移植されたバックドアニューロンを効果的に露出し、刺激することができることを示す。
  論文  参考訳（メタデータ） (2023-05-24T08:29:30Z)
• Backdoor Attack with Sparse and Invisible Trigger [57.41876708712008]
  ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。 バックドアアタックは、訓練段階の脅威を脅かしている。 軽度で目に見えないバックドアアタック(SIBA)を提案する。
  論文  参考訳（メタデータ） (2023-05-11T10:05:57Z)
• Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
  本稿では,モデル構造の角度からバックドア機構を探索する。 攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
  論文  参考訳（メタデータ） (2022-11-02T15:39:19Z)
• Imperceptible Backdoor Attack: From Input Space to Feature Representation [24.82632240825927]
  バックドア攻撃はディープニューラルネットワーク(DNN)への脅威が急速に高まっている 本稿では,既存の攻撃手法の欠点を分析し,新たな非受容的バックドア攻撃を提案する。 我々のトリガーは、良性画像の1%以下のピクセルしか変更せず、大きさは1。
  論文  参考訳（メタデータ） (2022-05-06T13:02:26Z)
• Backdoor Pre-trained Models Can Transfer to All [33.720258110911274]
  そこで本研究では,トリガを含む入力を事前学習したNLPモデルの出力表現に直接マッピングする手法を提案する。 NLPにおけるトリガのユニークな特性を考慮して,バックドア攻撃の性能を測定するための2つの新しい指標を提案する。
  論文  参考訳（メタデータ） (2021-10-30T07:11:24Z)
• BadPre: Task-agnostic Backdoor Attacks to Pre-trained NLP Foundation Models [25.938195038044448]
  我々は,訓練済みNLPモデルに対する最初のタスク非依存のバックドアアタックであるNameを提案する。 相手は、事前訓練されたモデルにバックドアを埋め込む際に、下流タスクに関する事前情報を必要としない。 実験結果から,本手法は,幅広い下流NLPタスクを効果的かつステルスな方法で妥協できる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-10-06T02:48:58Z)
• Black-box Detection of Backdoor Attacks with Limited Information and Data [56.0735480850555]
  モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。 バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T12:06:40Z)
• Dynamic Backdoor Attacks Against Machine Learning Models [28.799895653866788]
  本研究では,DNN(Random Backdoor,Backdoor Generating Network,BaN)および条件付きBackdoor Generating Network(c-BaN)に対する動的バックドア技術の最初のクラスを提案する。 新たな生成ネットワークに基づくBaNとc-BaNは、アルゴリズムによってトリガを生成する最初の2つのスキームである。 本手法は, バックドアデータに対するほぼ完璧な攻撃性能を実現し, 実用性に欠ける損失を生じさせる。
  論文  参考訳（メタデータ） (2020-03-07T22:46:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。