論文の概要: StolenEncoder: Stealing Pre-trained Encoders

• arxiv url: http://arxiv.org/abs/2201.05889v1
• Date: Sat, 15 Jan 2022 17:04:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-19 18:38:47.577249
• Title: StolenEncoder: Stealing Pre-trained Encoders
• Title（参考訳）: StolenEncoder: トレーニング済みのエンコーダをステアリング
• Authors: Yupei Liu and Jinyuan Jia and Hongbin Liu and Neil Zhenqiang Gong
• Abstract要約: 我々は、事前訓練された画像エンコーダを盗むStolenEncoderと呼ばれる最初の攻撃を提案する。 以上の結果から,StolenEncoderが盗んだエンコーダは,ターゲットエンコーダと同じような機能を持つことがわかった。
• 参考スコア（独自算出の注目度）: 62.02156378126672
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained encoders are general-purpose feature extractors that can be used for many downstream tasks. Recent progress in self-supervised learning can pre-train highly effective encoders using a large volume of unlabeled data, leading to the emerging encoder as a service (EaaS). A pre-trained encoder may be deemed confidential because its training often requires lots of data and computation resources as well as its public release may facilitate misuse of AI, e.g., for deepfakes generation. In this paper, we propose the first attack called StolenEncoder to steal pre-trained image encoders. We evaluate StolenEncoder on multiple target encoders pre-trained by ourselves and three real-world target encoders including the ImageNet encoder pre-trained by Google, CLIP encoder pre-trained by OpenAI, and Clarifai's General Embedding encoder deployed as a paid EaaS. Our results show that the encoders stolen by StolenEncoder have similar functionality with the target encoders. In particular, the downstream classifiers built upon a target encoder and a stolen encoder have similar accuracy. Moreover, stealing a target encoder using StolenEncoder requires much less data and computation resources than pre-training it from scratch. We also explore three defenses that perturb feature vectors produced by a target encoder. Our evaluation shows that these defenses are not enough to mitigate StolenEncoder.
• Abstract（参考訳）: 事前訓練エンコーダは、多くの下流タスクに使用できる汎用機能抽出器である。 自己教師型学習の最近の進歩は、大量のラベルのないデータを使って、非常に効果的なエンコーダを事前訓練することができる。 事前トレーニングされたエンコーダは、トレーニングが大量のデータと計算リソースを必要とすることや、公開リリースがaiの誤用を促進すること、例えばディープフェイク生成(deepfakes generation)を必要とするため、機密視される可能性がある。 本稿では,事前学習した画像エンコーダを盗むStolenEncoderと呼ばれる攻撃を提案する。 我々は、Googleが事前学習したImageNetエンコーダ、OpenAIが事前学習したCLIPエンコーダ、有償のEaaSとしてデプロイされたClrifaiのGeneral Embeddingエンコーダを含む、3つの実世界のターゲットエンコーダに対して、StolenEncoderを評価する。 その結果, 盗まれたエンコーダは, ターゲットエンコーダと類似した機能を持つことがわかった。 特に、ターゲットエンコーダと盗まれたエンコーダ上に構築された下流分類器も同様の精度である。 さらに、StolenEncoderを使ってターゲットエンコーダを盗むには、スクラッチから事前トレーニングするよりも、はるかに少ないデータと計算リソースが必要になる。 また,ターゲットエンコーダが生成する特徴ベクトルを摂動する3つのディフェンスについても検討する。 我々の評価では、これらの防御はStolenEncoderを緩和するのに十分ではない。

関連論文リスト

• Pre-trained Encoder Inference: Revealing Upstream Encoders In Downstream Machine Learning Services [10.367966878807714]
  トレーニング済みのエンコーダはオンラインで簡単にアクセスでき、ダウンストリーム機械学習(ML)サービスを迅速に構築できる。 この攻撃は、下流のMLサービスの後ろに隠されたエンコーダに対してプライバシー上の脅威を投稿する。
  論文  参考訳（メタデータ） (2024-08-05T20:27:54Z)
• Downstream-agnostic Adversarial Examples [66.8606539786026]
  AdvEncoderは、事前訓練されたエンコーダに基づいて、ダウンストリームに依存しない普遍的敵の例を生成するための最初のフレームワークである。 従来の逆数例とは異なり、事前訓練されたエンコーダは分類ラベルではなく特徴ベクトルを出力するのみである。 その結果、攻撃者はトレーニング済みのデータセットやダウンストリームのデータセットを知らずに、ダウンストリームのタスクを攻撃できることがわかった。
  論文  参考訳（メタデータ） (2023-07-23T10:16:47Z)
• Think Twice before Driving: Towards Scalable Decoders for End-to-End Autonomous Driving [74.28510044056706]
  既存のメソッドは通常、分離されたエンコーダ-デコーダパラダイムを採用する。 本研究は,この問題を2つの原則で緩和することを目的としている。 まず、エンコーダの特徴に基づいて、粗い将来の位置と行動を予測する。 そして、その位置と動作を条件に、将来のシーンを想像して、それに従って運転した場合にその影響を確認する。
  論文  参考訳（メタデータ） (2023-05-10T15:22:02Z)
• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• UNFUSED: UNsupervised Finetuning Using SElf supervised Distillation [53.06337011259031]
  音声分類に自己教師付き学習を活用する新しい手法UnFuSeDを提案する。 エンコーダを用いて、実際の微調整ステップの前に、教師なしの微調整のための擬似ラベルを生成する。 UnFuSeDはLAPEベンチマークで最先端の結果を達成し、すべてのベースラインを大きく上回っている。
  論文  参考訳（メタデータ） (2023-03-10T02:43:36Z)
• PoisonedEncoder: Poisoning the Unlabeled Pre-training Data in Contrastive Learning [69.70602220716718]
  コントラスト学習のためのデータ中毒攻撃であるPoisonedEncoderを提案する。 特に、攻撃者は未ラベルの事前訓練データに慎重に毒を盛った入力を注入する。 我々は,PoisonedEncoderに対する5つの防御効果を評価し,前処理が1つ,内処理が3つ,後処理が1つであった。
  論文  参考訳（メタデータ） (2022-05-13T00:15:44Z)
• Watermarking Pre-trained Encoders in Contrastive Learning [9.23485246108653]
  事前訓練されたエンコーダは、慎重に保護される必要がある重要な知的財産である。 既存の透かし技法を分類タスクから対照的な学習シナリオに移行することは困難である。 本稿では,エンコーダの裏口をウォーターマークとして効果的に埋め込むタスク非依存の損失関数を提案する。
  論文  参考訳（メタデータ） (2022-01-20T15:14:31Z)
• EncoderMI: Membership Inference against Pre-trained Encoders in Contrastive Learning [27.54202989524394]
  コントラスト学習によって事前訓練された画像エンコーダに対する最初のメンバーシップ推論手法であるMIを提案する。 複数のデータセットで事前学習した画像エンコーダと、OpenAIが収集した4億(画像、テキスト)のペアで事前学習したContrastive Language- Image Pre-training (CLIP)画像エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2021-08-25T03:00:45Z)
• BadEncoder: Backdoor Attacks to Pre-trained Encoders in Self-Supervised Learning [29.113263683850015]
  コンピュータビジョンにおける自己教師型学習は、大量のラベルのない画像または(画像、テキスト)ペアを使用して、画像エンコーダを事前訓練することを目的としている。 我々は,自己教師型学習の最初のバックドア攻撃であるBadEncoderを提案する。
  論文  参考訳（メタデータ） (2021-08-01T02:22:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。