論文の概要: Detecting Backdoors in Pre-trained Encoders

• arxiv url: http://arxiv.org/abs/2303.15180v1
• Date: Thu, 23 Mar 2023 19:04:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 15:23:20.709999
• Title: Detecting Backdoors in Pre-trained Encoders
• Title（参考訳）: 事前訓練エンコーダのバックドア検出
• Authors: Shiwei Feng, Guanhong Tao, Siyuan Cheng, Guangyu Shen, Xiangzhe Xu, Yingqi Liu, Kaiyuan Zhang, Shiqing Ma, Xiangyu Zhang
• Abstract要約: プリトレーニングエンコーダの最初のバックドア検出手法であるDECREEを提案する。 我々は,ImageNetとOpenAIのCLIP 4億画像テキストペアで事前学習した画像エンコーダに対する提案手法の有効性を示す。
• 参考スコア（独自算出の注目度）: 25.105186092387633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning in computer vision trains on unlabeled data, such as images or (image, text) pairs, to obtain an image encoder that learns high-quality embeddings for input data. Emerging backdoor attacks towards encoders expose crucial vulnerabilities of self-supervised learning, since downstream classifiers (even further trained on clean data) may inherit backdoor behaviors from encoders. Existing backdoor detection methods mainly focus on supervised learning settings and cannot handle pre-trained encoders especially when input labels are not available. In this paper, we propose DECREE, the first backdoor detection approach for pre-trained encoders, requiring neither classifier headers nor input labels. We evaluate DECREE on over 400 encoders trojaned under 3 paradigms. We show the effectiveness of our method on image encoders pre-trained on ImageNet and OpenAI's CLIP 400 million image-text pairs. Our method consistently has a high detection accuracy even if we have only limited or no access to the pre-training dataset.
• Abstract（参考訳）: コンピュータビジョンにおける自己教師あり学習は、画像や(画像、テキスト)ペアなどのラベルのないデータを学習し、入力データの高品質な埋め込みを学ぶ画像エンコーダを得る。 エンコーダに対するバックドア攻撃は、下流の分類器(さらにクリーンデータで訓練された)がエンコーダからバックドアの振る舞いを継承する可能性があるため、自己教師付き学習の重要な脆弱性を露呈する。 既存のバックドア検出手法は主に教師付き学習設定に重点を置いており、特に入力ラベルが利用できない場合、事前訓練されたエンコーダを扱えない。 本稿では,プリトレーニングエンコーダに対する最初のバックドア検出手法であるorderを提案する。 3つのパラダイムの下で400以上のエンコーダ上でDECREEを評価する。 我々は,ImageNetとOpenAIのCLIP 4億画像テキストペアで事前学習した画像エンコーダに対する提案手法の有効性を示す。 本手法は,事前学習データセットへのアクセスに制限や制限がない場合でも,常に高い検出精度を有する。

関連論文リスト

• DeDe: Detecting Backdoor Samples for SSL Encoders via Decoders [6.698677477097004]
  自己教師付き学習(SSL)は、大量のラベルのないデータで高品質な上流エンコーダのトレーニングに広く利用されている。 バックドア攻撃は トレーニングデータの ごく一部を汚染するだけ 本稿では,被害者エンコーダの共起によるバックドアマッピングの活性化を検知し,入力をトリガーする新しい検出機構であるDeDeを提案する。
  論文  参考訳（メタデータ） (2024-11-25T07:26:22Z)
• Inside the Black Box: Detecting Data Leakage in Pre-trained Language Encoders [68.00224057755773]
  我々は、事前学習した言語エンコーダから適応した下流モデルを通して、事前学習したデータのメンバシップリークに焦点を当てた。 評価の結果,下流モデルのブラックボックス出力のみを露呈しても,メンバシップリークの存在が確認された。
  論文  参考訳（メタデータ） (2024-08-20T17:55:15Z)
• Downstream-agnostic Adversarial Examples [66.8606539786026]
  AdvEncoderは、事前訓練されたエンコーダに基づいて、ダウンストリームに依存しない普遍的敵の例を生成するための最初のフレームワークである。 従来の逆数例とは異なり、事前訓練されたエンコーダは分類ラベルではなく特徴ベクトルを出力するのみである。 その結果、攻撃者はトレーニング済みのデータセットやダウンストリームのデータセットを知らずに、ダウンストリームのタスクを攻撃できることがわかった。
  論文  参考訳（メタデータ） (2023-07-23T10:16:47Z)
• Pre-trained Encoders in Self-Supervised Learning Improve Secure and Privacy-preserving Supervised Learning [63.45532264721498]
  自己教師付き学習は、ラベルのないデータを使ってエンコーダを事前訓練するための新しいテクニックである。 我々は、事前訓練されたエンコーダがセキュア・プライバシ保護型学習アルゴリズムの限界に対処できるかどうかを理解するための、最初の体系的、原則的な測定研究を行う。
  論文  参考訳（メタデータ） (2022-12-06T21:35:35Z)
• PoisonedEncoder: Poisoning the Unlabeled Pre-training Data in Contrastive Learning [69.70602220716718]
  コントラスト学習のためのデータ中毒攻撃であるPoisonedEncoderを提案する。 特に、攻撃者は未ラベルの事前訓練データに慎重に毒を盛った入力を注入する。 我々は,PoisonedEncoderに対する5つの防御効果を評価し,前処理が1つ,内処理が3つ,後処理が1つであった。
  論文  参考訳（メタデータ） (2022-05-13T00:15:44Z)
• Watermarking Pre-trained Encoders in Contrastive Learning [9.23485246108653]
  事前訓練されたエンコーダは、慎重に保護される必要がある重要な知的財産である。 既存の透かし技法を分類タスクから対照的な学習シナリオに移行することは困難である。 本稿では,エンコーダの裏口をウォーターマークとして効果的に埋め込むタスク非依存の損失関数を提案する。
  論文  参考訳（メタデータ） (2022-01-20T15:14:31Z)
• StolenEncoder: Stealing Pre-trained Encoders [62.02156378126672]
  我々は、事前訓練された画像エンコーダを盗むStolenEncoderと呼ばれる最初の攻撃を提案する。 以上の結果から,StolenEncoderが盗んだエンコーダは,ターゲットエンコーダと同じような機能を持つことがわかった。
  論文  参考訳（メタデータ） (2022-01-15T17:04:38Z)
• Masked Autoencoders Are Scalable Vision Learners [60.97703494764904]
  Masked Autoencoders (MAE) は、コンピュータビジョンのためのスケーラブルな自己教師型学習システムである。 我々は入力画像のランダムなパッチを隠蔽し、欠落したピクセルを再構成する。 これら2つの設計を結合することで,大規模モデルを効率的かつ効率的にトレーニングすることが可能になります。
  論文  参考訳（メタデータ） (2021-11-11T18:46:40Z)
• EncoderMI: Membership Inference against Pre-trained Encoders in Contrastive Learning [27.54202989524394]
  コントラスト学習によって事前訓練された画像エンコーダに対する最初のメンバーシップ推論手法であるMIを提案する。 複数のデータセットで事前学習した画像エンコーダと、OpenAIが収集した4億(画像、テキスト)のペアで事前学習したContrastive Language- Image Pre-training (CLIP)画像エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2021-08-25T03:00:45Z)
• BadEncoder: Backdoor Attacks to Pre-trained Encoders in Self-Supervised Learning [29.113263683850015]
  コンピュータビジョンにおける自己教師型学習は、大量のラベルのない画像または(画像、テキスト)ペアを使用して、画像エンコーダを事前訓練することを目的としている。 我々は,自己教師型学習の最初のバックドア攻撃であるBadEncoderを提案する。
  論文  参考訳（メタデータ） (2021-08-01T02:22:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。