論文の概要: BadEncoder: Backdoor Attacks to Pre-trained Encoders in Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2108.00352v1
• Date: Sun, 1 Aug 2021 02:22:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-04 10:09:30.340094
• Title: BadEncoder: Backdoor Attacks to Pre-trained Encoders in Self-Supervised Learning
• Title（参考訳）: badencoder: 自己教師付き学習における事前学習エンコーダに対するバックドア攻撃
• Authors: Jinyuan Jia and Yupei Liu and Neil Zhenqiang Gong
• Abstract要約: コンピュータビジョンにおける自己教師型学習は、大量のラベルのない画像または(画像、テキスト)ペアを使用して、画像エンコーダを事前訓練することを目的としている。 我々は,自己教師型学習の最初のバックドア攻撃であるBadEncoderを提案する。
• 参考スコア（独自算出の注目度）: 29.113263683850015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning in computer vision aims to pre-train an image encoder using a large amount of unlabeled images or (image, text) pairs. The pre-trained image encoder can then be used as a feature extractor to build downstream classifiers for many downstream tasks with a small amount of or no labeled training data. In this work, we propose BadEncoder, the first backdoor attack to self-supervised learning. In particular, our BadEncoder injects backdoors into a pre-trained image encoder such that the downstream classifiers built based on the backdoored image encoder for different downstream tasks simultaneously inherit the backdoor behavior. We formulate our BadEncoder as an optimization problem and we propose a gradient descent based method to solve it, which produces a backdoored image encoder from a clean one. Our extensive empirical evaluation results on multiple datasets show that our BadEncoder achieves high attack success rates while preserving the accuracy of the downstream classifiers. We also show the effectiveness of BadEncoder using two publicly available, real-world image encoders, i.e., Google's image encoder pre-trained on ImageNet and OpenAI's Contrastive Language-Image Pre-training (CLIP) image encoder pre-trained on 400 million (image, text) pairs collected from the Internet. Moreover, we consider defenses including Neural Cleanse and MNTD (empirical defenses) as well as PatchGuard (a provable defense). Our results show that these defenses are insufficient to defend against BadEncoder, highlighting the needs for new defenses against our BadEncoder. Our code is publicly available at: https://github.com/jjy1994/BadEncoder.
• Abstract（参考訳）: コンピュータビジョンにおける自己教師あり学習は、大量のラベルのない画像または(画像、テキスト)ペアを使用して画像エンコーダを事前学習することを目的としている。 事前トレーニングされたイメージエンコーダは、少数のラベル付きトレーニングデータで下流タスクのための下流分類器を構築する機能抽出器として使用できる。 本研究では,自己教師型学習の最初のバックドア攻撃であるBadEncoderを提案する。 特に我々のbadencoderは、バックドアを事前学習したイメージエンコーダに注入し、ダウンストリームタスク用のバックドアイメージエンコーダに基づいて構築された下流の分類器が同時にバックドアの動作を継承するようにします。 我々は,BadEncoderを最適化問題として定式化し,それを解決するための勾配降下法を提案し,クリーンな画像エンコーダからバックドア画像エンコーダを生成する。 複数のデータセットに対する実験結果から,BadEncoderは下流分類器の精度を保ちながら高い攻撃成功率を達成することが示された。 また,実世界の画像エンコーダであるgoogleのイメージエンコーダをimagenetで事前学習し,openaiのコントラスト型言語画像前訓練(clip)画像エンコーダをインターネットから4億組(画像,テキスト)のペアで事前学習して,badencoderの有効性を示す。 さらに,神経洗浄やmntdなどの防御,パッチガード(証明可能な防御)についても検討した。 以上の結果から,BadEncoderに対する防衛は不十分であり,BadEncoderに対する新たな防衛の必要性を強調している。 私たちのコードは、https://github.com/jjy 1994/BadEncoder.comで公開されています。

関連論文リスト

• GhostEncoder: Stealthy Backdoor Attacks with Dynamic Triggers to Pre-trained Encoders in Self-supervised Learning [15.314217530697928]
  自己教師付き学習 (SSL) は、大量の未ラベル画像を利用した事前訓練された画像エンコーダの訓練に関係している。 GhostEncoderはSSLに対する最初のダイナミックなバックドア攻撃である。
  論文  参考訳（メタデータ） (2023-10-01T09:39:27Z)
• Downstream-agnostic Adversarial Examples [66.8606539786026]
  AdvEncoderは、事前訓練されたエンコーダに基づいて、ダウンストリームに依存しない普遍的敵の例を生成するための最初のフレームワークである。 従来の逆数例とは異なり、事前訓練されたエンコーダは分類ラベルではなく特徴ベクトルを出力するのみである。 その結果、攻撃者はトレーニング済みのデータセットやダウンストリームのデータセットを知らずに、ダウンストリームのタスクを攻撃できることがわかった。
  論文  参考訳（メタデータ） (2023-07-23T10:16:47Z)
• Human-imperceptible, Machine-recognizable Images [76.01951148048603]
  より良い開発AIシステムと、センシティブなトレーニングデータから距離を置くことの間の、ソフトウェアエンジニアに関する大きな対立が露呈している。 画像が暗号化され、人間に認識され、機械に認識される」という、効率的なプライバシー保護学習パラダイムを提案する。 提案手法は,機械が認識可能な情報を保存しながら,暗号化された画像が人間に認識されなくなることを保証できることを示す。
  論文  参考訳（メタデータ） (2023-06-06T13:41:37Z)
• Detecting Backdoors in Pre-trained Encoders [25.105186092387633]
  プリトレーニングエンコーダの最初のバックドア検出手法であるDECREEを提案する。 我々は,ImageNetとOpenAIのCLIP 4億画像テキストペアで事前学習した画像エンコーダに対する提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-03-23T19:04:40Z)
• CorruptEncoder: Data Poisoning based Backdoor Attacks to Contrastive Learning [71.25518220297639]
  コントラスト学習は、ラベル付き事前学習データセットを使用して汎用エンコーダを訓練する。 DPBAはトレーニング前のデータセットに有毒な入力を注入してエンコーダをバックドアにする。 CorruptEncoderは、有毒な入力を生成するための新しい攻撃戦略を導入し、攻撃効率を最大化するために理論誘導方式を使用している。 我々の防衛はDPBAの有効性を低下させるが,エンコーダの実用性を犠牲にし,新たな防衛の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2022-11-15T15:48:28Z)
• PoisonedEncoder: Poisoning the Unlabeled Pre-training Data in Contrastive Learning [69.70602220716718]
  コントラスト学習のためのデータ中毒攻撃であるPoisonedEncoderを提案する。 特に、攻撃者は未ラベルの事前訓練データに慎重に毒を盛った入力を注入する。 我々は,PoisonedEncoderに対する5つの防御効果を評価し,前処理が1つ,内処理が3つ,後処理が1つであった。
  論文  参考訳（メタデータ） (2022-05-13T00:15:44Z)
• StolenEncoder: Stealing Pre-trained Encoders [62.02156378126672]
  我々は、事前訓練された画像エンコーダを盗むStolenEncoderと呼ばれる最初の攻撃を提案する。 以上の結果から,StolenEncoderが盗んだエンコーダは,ターゲットエンコーダと同じような機能を持つことがわかった。
  論文  参考訳（メタデータ） (2022-01-15T17:04:38Z)
• Masked Autoencoders Are Scalable Vision Learners [60.97703494764904]
  Masked Autoencoders (MAE) は、コンピュータビジョンのためのスケーラブルな自己教師型学習システムである。 我々は入力画像のランダムなパッチを隠蔽し、欠落したピクセルを再構成する。 これら2つの設計を結合することで,大規模モデルを効率的かつ効率的にトレーニングすることが可能になります。
  論文  参考訳（メタデータ） (2021-11-11T18:46:40Z)
• EncoderMI: Membership Inference against Pre-trained Encoders in Contrastive Learning [27.54202989524394]
  コントラスト学習によって事前訓練された画像エンコーダに対する最初のメンバーシップ推論手法であるMIを提案する。 複数のデータセットで事前学習した画像エンコーダと、OpenAIが収集した4億(画像、テキスト)のペアで事前学習したContrastive Language- Image Pre-training (CLIP)画像エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2021-08-25T03:00:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。