論文の概要: EncoderMI: Membership Inference against Pre-trained Encoders in Contrastive Learning

• arxiv url: http://arxiv.org/abs/2108.11023v1
• Date: Wed, 25 Aug 2021 03:00:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-26 20:59:03.233281
• Title: EncoderMI: Membership Inference against Pre-trained Encoders in Contrastive Learning
• Title（参考訳）: EncoderMI:コントラスト学習における事前学習エンコーダに対する会員推論
• Authors: Hongbin Liu, Jinyuan Jia, Wenjie Qu, Neil Zhenqiang Gong
• Abstract要約: コントラスト学習によって事前訓練された画像エンコーダに対する最初のメンバーシップ推論手法であるMIを提案する。 複数のデータセットで事前学習した画像エンコーダと、OpenAIが収集した4億(画像、テキスト)のペアで事前学習したContrastive Language- Image Pre-training (CLIP)画像エンコーダの評価を行った。
• 参考スコア（独自算出の注目度）: 27.54202989524394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given a set of unlabeled images or (image, text) pairs, contrastive learning aims to pre-train an image encoder that can be used as a feature extractor for many downstream tasks. In this work, we propose EncoderMI, the first membership inference method against image encoders pre-trained by contrastive learning. In particular, given an input and a black-box access to an image encoder, EncoderMI aims to infer whether the input is in the training dataset of the image encoder. EncoderMI can be used 1) by a data owner to audit whether its (public) data was used to pre-train an image encoder without its authorization or 2) by an attacker to compromise privacy of the training data when it is private/sensitive. Our EncoderMI exploits the overfitting of the image encoder towards its training data. In particular, an overfitted image encoder is more likely to output more (or less) similar feature vectors for two augmented versions of an input in (or not in) its training dataset. We evaluate EncoderMI on image encoders pre-trained on multiple datasets by ourselves as well as the Contrastive Language-Image Pre-training (CLIP) image encoder, which is pre-trained on 400 million (image, text) pairs collected from the Internet and released by OpenAI. Our results show that EncoderMI can achieve high accuracy, precision, and recall. We also explore a countermeasure against EncoderMI via preventing overfitting through early stopping. Our results show that it achieves trade-offs between accuracy of EncoderMI and utility of the image encoder, i.e., it can reduce the accuracy of EncoderMI, but it also incurs classification accuracy loss of the downstream classifiers built based on the image encoder.
• Abstract（参考訳）: ラベルのない画像や(画像、テキスト)ペアが与えられたコントラスト学習は、多くの下流タスクの機能抽出器として使用できるイメージエンコーダを事前訓練することを目的としている。 本研究では,コントラスト学習によって事前学習された画像エンコーダに対する最初のメンバシップ推論手法であるEncoderMIを提案する。 特に、入力とイメージエンコーダへのブラックボックスアクセスが与えられた場合、EncoderMIは、入力がイメージエンコーダのトレーニングデータセットにあるかどうかを推測する。 エンコーダmiは、データ所有者が、その(公開)データが画像エンコーダを許可なく事前トレーニングするために使用されたか、または、プライベート/敏感な場合、トレーニングデータのプライバシを侵害する攻撃者による監査に使用できる。 私たちのEncoderMIは、トレーニングデータに対する画像エンコーダの過度な適合を利用しています。 特に、過度に適合したイメージエンコーダは、トレーニングデータセット内の2つの追加バージョンの入力に対して、より多く(またはより少ない)類似した特徴ベクトルを出力する傾向にある。 複数のデータセットでプリトレーニングされた画像エンコーダのエンコーダと、インターネットから4億(画像、テキスト)ペアで事前トレーニングされ、openaiによってリリースされているコントラスト言語イメージプリトレーニング(clip)イメージエンコーダについて評価する。 その結果, EncoderMI は高精度, 高精度, リコールが可能であった。 また,早期停止によるオーバーフィットを防止し,エンコーダミ対策を検討する。 本研究では,EncoderMIの精度と画像エンコーダの実用性とのトレードオフ,すなわちEncoderMIの精度を低減できることを示すとともに,画像エンコーダに基づいて構築された下流分類器の分類精度を低下させることを示す。

関連論文リスト

• Downstream-agnostic Adversarial Examples [66.8606539786026]
  AdvEncoderは、事前訓練されたエンコーダに基づいて、ダウンストリームに依存しない普遍的敵の例を生成するための最初のフレームワークである。 従来の逆数例とは異なり、事前訓練されたエンコーダは分類ラベルではなく特徴ベクトルを出力するのみである。 その結果、攻撃者はトレーニング済みのデータセットやダウンストリームのデータセットを知らずに、ダウンストリームのタスクを攻撃できることがわかった。
  論文  参考訳（メタデータ） (2023-07-23T10:16:47Z)
• Think Twice before Driving: Towards Scalable Decoders for End-to-End Autonomous Driving [74.28510044056706]
  既存のメソッドは通常、分離されたエンコーダ-デコーダパラダイムを採用する。 本研究は,この問題を2つの原則で緩和することを目的としている。 まず、エンコーダの特徴に基づいて、粗い将来の位置と行動を予測する。 そして、その位置と動作を条件に、将来のシーンを想像して、それに従って運転した場合にその影響を確認する。
  論文  参考訳（メタデータ） (2023-05-10T15:22:02Z)
• Detecting Backdoors in Pre-trained Encoders [25.105186092387633]
  プリトレーニングエンコーダの最初のバックドア検出手法であるDECREEを提案する。 我々は,ImageNetとOpenAIのCLIP 4億画像テキストペアで事前学習した画像エンコーダに対する提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-03-23T19:04:40Z)
• AWEncoder: Adversarial Watermarking Pre-trained Encoders in Contrastive Learning [18.90841192412555]
  コントラスト学習において,事前学習したエンコーダをウォーターマークする逆法であるAWEncoderを導入する。 提案した研究は、異なるコントラスト学習アルゴリズムや下流タスクにおいて、極めて優れた有効性と堅牢性を持っている。
  論文  参考訳（メタデータ） (2022-08-08T07:23:37Z)
• LoopITR: Combining Dual and Cross Encoder Architectures for Image-Text Retrieval [117.15862403330121]
  共同学習のためのネットワークにおいて,デュアルエンコーダとクロスエンコーダを組み合わせたLoopITRを提案する。 具体的には、二重エンコーダをクロスエンコーダに強陰性を与え、より識別性の高いクロスエンコーダを用いてその予測を二重エンコーダに戻す。
  論文  参考訳（メタデータ） (2022-03-10T16:41:12Z)
• StolenEncoder: Stealing Pre-trained Encoders [62.02156378126672]
  我々は、事前訓練された画像エンコーダを盗むStolenEncoderと呼ばれる最初の攻撃を提案する。 以上の結果から,StolenEncoderが盗んだエンコーダは,ターゲットエンコーダと同じような機能を持つことがわかった。
  論文  参考訳（メタデータ） (2022-01-15T17:04:38Z)
• Masked Autoencoders Are Scalable Vision Learners [60.97703494764904]
  Masked Autoencoders (MAE) は、コンピュータビジョンのためのスケーラブルな自己教師型学習システムである。 我々は入力画像のランダムなパッチを隠蔽し、欠落したピクセルを再構成する。 これら2つの設計を結合することで,大規模モデルを効率的かつ効率的にトレーニングすることが可能になります。
  論文  参考訳（メタデータ） (2021-11-11T18:46:40Z)
• Small Lesion Segmentation in Brain MRIs with Subpixel Embedding [105.1223735549524]
  ヒト脳のMRIスキャンを虚血性脳梗塞と正常組織に分割する方法を提案する。 本稿では,空間展開埋め込みネットワークによって予測を導出する標準エンコーダデコーダの形式でニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-09-18T00:21:17Z)
• A manifold learning perspective on representation learning: Learning decoder and representations without an encoder [0.0]
  オートエンコーダは表現学習で一般的に使用される。 多様体学習にインスパイアされて、トレーニングサンプルの表現を学習することで、デコーダを単独で訓練できることが示される。 デコーダのみを訓練する我々のアプローチは、小さなデータセットでも表現学習を容易にする。
  論文  参考訳（メタデータ） (2021-08-31T15:08:50Z)
• BadEncoder: Backdoor Attacks to Pre-trained Encoders in Self-Supervised Learning [29.113263683850015]
  コンピュータビジョンにおける自己教師型学習は、大量のラベルのない画像または(画像、テキスト)ペアを使用して、画像エンコーダを事前訓練することを目的としている。 我々は,自己教師型学習の最初のバックドア攻撃であるBadEncoderを提案する。
  論文  参考訳（メタデータ） (2021-08-01T02:22:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。