論文の概要: Downstream-agnostic Adversarial Examples

• arxiv url: http://arxiv.org/abs/2307.12280v2
• Date: Mon, 14 Aug 2023 11:16:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 19:15:19.733977
• Title: Downstream-agnostic Adversarial Examples
• Title（参考訳）: ダウンストリーム・アグノスティック・アドバーサリの例
• Authors: Ziqi Zhou, Shengshan Hu, Ruizhi Zhao, Qian Wang, Leo Yu Zhang, Junhui Hou, Hai Jin
• Abstract要約: AdvEncoderは、事前訓練されたエンコーダに基づいて、ダウンストリームに依存しない普遍的敵の例を生成するための最初のフレームワークである。 従来の逆数例とは異なり、事前訓練されたエンコーダは分類ラベルではなく特徴ベクトルを出力するのみである。 その結果、攻撃者はトレーニング済みのデータセットやダウンストリームのデータセットを知らずに、ダウンストリームのタスクを攻撃できることがわかった。
• 参考スコア（独自算出の注目度）: 66.8606539786026
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning usually uses a large amount of unlabeled data to pre-train an encoder which can be used as a general-purpose feature extractor, such that downstream users only need to perform fine-tuning operations to enjoy the benefit of "large model". Despite this promising prospect, the security of pre-trained encoder has not been thoroughly investigated yet, especially when the pre-trained encoder is publicly available for commercial use. In this paper, we propose AdvEncoder, the first framework for generating downstream-agnostic universal adversarial examples based on the pre-trained encoder. AdvEncoder aims to construct a universal adversarial perturbation or patch for a set of natural images that can fool all the downstream tasks inheriting the victim pre-trained encoder. Unlike traditional adversarial example works, the pre-trained encoder only outputs feature vectors rather than classification labels. Therefore, we first exploit the high frequency component information of the image to guide the generation of adversarial examples. Then we design a generative attack framework to construct adversarial perturbations/patches by learning the distribution of the attack surrogate dataset to improve their attack success rates and transferability. Our results show that an attacker can successfully attack downstream tasks without knowing either the pre-training dataset or the downstream dataset. We also tailor four defenses for pre-trained encoders, the results of which further prove the attack ability of AdvEncoder.
• Abstract（参考訳）: 自己教師付き学習は、通常、大量の未ラベルデータを使用してエンコーダを事前訓練するが、これは汎用的な特徴抽出器として使用することができるため、下流のユーザは「大規模モデル」の利点を享受するためにのみ微調整を行う必要がある。 この有望な見通しにもかかわらず、プリトレーニングエンコーダのセキュリティは、特にプリトレーニングエンコーダが商用に利用可能である場合に、まだ完全には調査されていない。 本稿では,事前学習したエンコーダに基づいて,下流非依存の普遍的逆例を生成する最初のフレームワークであるadvencoderを提案する。 advencoderは、被害者が事前学習したエンコーダを継承する下流タスクをすべて騙すことのできる、一連の自然画像に対する普遍的な敵対的摂動またはパッチを構築することを目的としている。 従来の逆行例とは異なり、プリトレーニングエンコーダはラベルの分類ではなく特徴ベクトルのみを出力する。 そこで,我々はまず,画像の高周波成分情報を利用して,敵対例の生成を導く。 次に,攻撃サロゲートデータセットの分布を学習し,攻撃成功率と伝達性を改善することにより,攻撃側摂動・パッチを構築するための生成攻撃フレームワークを設計する。 その結果、攻撃者はトレーニング済みのデータセットや下流のデータセットを知らずにダウンストリームタスクを攻撃できることがわかった。 また,プリトレーニングエンコーダに対する4つの防御を調整し,アドベンコーダの攻撃能力をさらに証明した。

関連論文リスト

• Pre-trained Encoder Inference: Revealing Upstream Encoders In Downstream Machine Learning Services [10.367966878807714]
  トレーニング済みのエンコーダはオンラインで簡単にアクセスでき、ダウンストリーム機械学習(ML)サービスを迅速に構築できる。 この攻撃は、下流のMLサービスの後ろに隠されたエンコーダに対してプライバシー上の脅威を投稿する。
  論文  参考訳（メタデータ） (2024-08-05T20:27:54Z)
• AdvCLIP: Downstream-agnostic Adversarial Examples in Multimodal Contrastive Learning [24.266096176932813]
  マルチモーダルコントラスト学習は、CLIPのような汎用特徴抽出器を、大量の生のラベルなしのペア画像テキストデータに基づいて訓練することを目的としている。 将来性はあるものの、クロスモーダル事前訓練エンコーダのセキュリティ問題は、まだ完全には検討されていない。 本稿では,ダウンストリームに依存しない敵の例を生成するための最初のアタックフレームワークであるAdvCLIPを提案する。
  論文  参考訳（メタデータ） (2023-08-14T09:29:22Z)
• Think Twice before Driving: Towards Scalable Decoders for End-to-End Autonomous Driving [74.28510044056706]
  既存のメソッドは通常、分離されたエンコーダ-デコーダパラダイムを採用する。 本研究は,この問題を2つの原則で緩和することを目的としている。 まず、エンコーダの特徴に基づいて、粗い将来の位置と行動を予測する。 そして、その位置と動作を条件に、将来のシーンを想像して、それに従って運転した場合にその影響を確認する。
  論文  参考訳（メタデータ） (2023-05-10T15:22:02Z)
• Adversarial Pixel Restoration as a Pretext Task for Transferable Perturbations [54.1807206010136]
  トランスファー可能な敵攻撃は、事前訓練された代理モデルと既知のラベル空間から敵を最適化し、未知のブラックボックスモデルを騙す。 本稿では,効果的なサロゲートモデルをスクラッチからトレーニングするための自己教師型代替手段として,Adversarial Pixel Restorationを提案する。 我々のトレーニングアプローチは、敵の目標を通したオーバーフィッティングを減らすmin-maxの目標に基づいています。
  論文  参考訳（メタデータ） (2022-07-18T17:59:58Z)
• PoisonedEncoder: Poisoning the Unlabeled Pre-training Data in Contrastive Learning [69.70602220716718]
  コントラスト学習のためのデータ中毒攻撃であるPoisonedEncoderを提案する。 特に、攻撃者は未ラベルの事前訓練データに慎重に毒を盛った入力を注入する。 我々は,PoisonedEncoderに対する5つの防御効果を評価し,前処理が1つ,内処理が3つ,後処理が1つであった。
  論文  参考訳（メタデータ） (2022-05-13T00:15:44Z)
• Can't Steal? Cont-Steal! Contrastive Stealing Attacks Against Image Encoders [23.2869445054295]
  自己教師付き表現学習技術は、下流のタスクに不利なリッチな特徴に画像をエンコードする。 専用モデル設計と大量のリソースの要求は、潜在的なモデル盗難攻撃のリスクに画像エンコーダを露出させる。 本研究では,コントラスト学習に基づく攻撃であるCont-Stealを提案する。
  論文  参考訳（メタデータ） (2022-01-19T10:27:28Z)
• StolenEncoder: Stealing Pre-trained Encoders [62.02156378126672]
  我々は、事前訓練された画像エンコーダを盗むStolenEncoderと呼ばれる最初の攻撃を提案する。 以上の結果から,StolenEncoderが盗んだエンコーダは,ターゲットエンコーダと同じような機能を持つことがわかった。
  論文  参考訳（メタデータ） (2022-01-15T17:04:38Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。