論文の概要: AdvCLIP: Downstream-agnostic Adversarial Examples in Multimodal Contrastive Learning

• arxiv url: http://arxiv.org/abs/2308.07026v1
• Date: Mon, 14 Aug 2023 09:29:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 13:46:12.815154
• Title: AdvCLIP: Downstream-agnostic Adversarial Examples in Multimodal Contrastive Learning
• Title（参考訳）: AdvCLIP:マルチモーダルコントラスト学習におけるダウンストリーム・アグノスティック・アドバイサルの事例
• Authors: Ziqi Zhou, Shengshan Hu, Minghui Li, Hangtao Zhang, Yechao Zhang, Hai Jin
• Abstract要約: マルチモーダルコントラスト学習は、CLIPのような汎用特徴抽出器を、大量の生のラベルなしのペア画像テキストデータに基づいて訓練することを目的としている。 将来性はあるものの、クロスモーダル事前訓練エンコーダのセキュリティ問題は、まだ完全には検討されていない。 本稿では,ダウンストリームに依存しない敵の例を生成するための最初のアタックフレームワークであるAdvCLIPを提案する。
• 参考スコア（独自算出の注目度）: 24.266096176932813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal contrastive learning aims to train a general-purpose feature extractor, such as CLIP, on vast amounts of raw, unlabeled paired image-text data. This can greatly benefit various complex downstream tasks, including cross-modal image-text retrieval and image classification. Despite its promising prospect, the security issue of cross-modal pre-trained encoder has not been fully explored yet, especially when the pre-trained encoder is publicly available for commercial use. In this work, we propose AdvCLIP, the first attack framework for generating downstream-agnostic adversarial examples based on cross-modal pre-trained encoders. AdvCLIP aims to construct a universal adversarial patch for a set of natural images that can fool all the downstream tasks inheriting the victim cross-modal pre-trained encoder. To address the challenges of heterogeneity between different modalities and unknown downstream tasks, we first build a topological graph structure to capture the relevant positions between target samples and their neighbors. Then, we design a topology-deviation based generative adversarial network to generate a universal adversarial patch. By adding the patch to images, we minimize their embeddings similarity to different modality and perturb the sample distribution in the feature space, achieving unviersal non-targeted attacks. Our results demonstrate the excellent attack performance of AdvCLIP on two types of downstream tasks across eight datasets. We also tailor three popular defenses to mitigate AdvCLIP, highlighting the need for new defense mechanisms to defend cross-modal pre-trained encoders.
• Abstract（参考訳）: マルチモーダルコントラスト学習は、CLIPのような汎用特徴抽出器を、大量の生のラベルなしのペア画像テキストデータに基づいて訓練することを目的としている。 これは、クロスモーダルな画像テキスト検索や画像分類など、様々な複雑な下流タスクに大いに役立つ。 将来性が期待されているにもかかわらず、クロスモーダルプリトレーニングエンコーダのセキュリティ問題は、特にプリトレーニングエンコーダが商用に利用可能である場合に、まだ十分に検討されていない。 本稿では,クロスモーダルプリトレーニングエンコーダに基づく下流非依存の逆例を生成する最初の攻撃フレームワークであるadvclipを提案する。 AdvCLIPは、被害者のクロスモーダルな事前訓練エンコーダを継承する下流タスクをすべて騙すことができる、自然画像の集合に対する普遍的な逆パッチを構築することを目的としている。 異なるモダリティと未知の下流タスクの間の不均一性の課題に対処するために,まず,対象サンプルとその近傍の間の関連位置を捉えるトポロジカルグラフ構造を構築する。 そこで我々は,トポロジ決定に基づく生成逆数ネットワークを設計し,普遍的逆数パッチを生成する。 画像にパッチを追加することで、異なるモダリティに類似した埋め込みを最小化し、特徴空間内のサンプル分布を摂動させ、非標的攻撃を実現する。 その結果、8つのデータセットにわたる2種類のダウンストリームタスクに対するAdvCLIPの優れた攻撃性能が示された。 また,advclipを緩和するために3つの一般的な防御を調整し,クロスモーダルプリトレーニングエンコーダを防御するための新たな防御機構の必要性を強調した。

関連論文リスト

• BadCM: Invisible Backdoor Attack Against Cross-Modal Learning [110.37205323355695]
  クロスモーダルバックドアにおけるパズルの欠片を補うために,新たな両面バックドアを導入する。 BadCMは、1つの統合されたフレームワーク内で多様なクロスモーダルアタックのために意図的に設計された最初の目に見えないバックドアメソッドである。
  論文  参考訳（メタデータ） (2024-10-03T03:51:53Z)
• White-box Multimodal Jailbreaks Against Large Vision-Language Models [61.97578116584653]
  本稿では,テキストと画像のモダリティを併用して,大規模視覚言語モデルにおけるより広範な脆弱性のスペクトルを利用する,より包括的戦略を提案する。 本手法は,テキスト入力がない場合に,逆画像プレフィックスをランダムノイズから最適化し,有害な応答を多様に生成することから始める。 様々な有害な指示に対する肯定的な反応を誘発する確率を最大化するために、対向テキスト接頭辞を、対向画像接頭辞と統合し、共最適化する。
  論文  参考訳（メタデータ） (2024-05-28T07:13:30Z)
• Revisiting the Adversarial Robustness of Vision Language Models: a Multimodal Perspective [42.04728834962863]
  CLIPのような事前訓練された視覚言語モデル(VLM)は、様々な下流タスクにまたがる例外的な一般化を示している。 近年の研究では、テキストベースおよびマルチモーダル攻撃に対する防御がほとんど未調査のままであり、敵攻撃に対する脆弱性が明らかにされている。 本研究は,画像,テキスト,マルチモーダル入力を標的とした攻撃に対して,VLMの対角的堅牢性を改善するための最初の総合的研究である。
  論文  参考訳（メタデータ） (2024-04-30T06:34:21Z)
• VLATTACK: Multimodal Adversarial Attacks on Vision-Language Tasks via Pre-trained Models [46.14455492739906]
  VL(Vision-Language)事前訓練モデルは、多くのマルチモーダルタスクにおいて優位性を示している。 既存のアプローチは主に、ホワイトボックス設定下での敵の堅牢性を探究することに焦点を当てている。 本稿では,VLATTACKを用いて,画像とテキストの摂動を単一モードレベルとマルチモードレベルの両方から分離し,対向サンプルを生成する。
  論文  参考訳（メタデータ） (2023-10-07T02:18:52Z)
• Downstream-agnostic Adversarial Examples [66.8606539786026]
  AdvEncoderは、事前訓練されたエンコーダに基づいて、ダウンストリームに依存しない普遍的敵の例を生成するための最初のフレームワークである。 従来の逆数例とは異なり、事前訓練されたエンコーダは分類ラベルではなく特徴ベクトルを出力するのみである。 その結果、攻撃者はトレーニング済みのデータセットやダウンストリームのデータセットを知らずに、ダウンストリームのタスクを攻撃できることがわかった。
  論文  参考訳（メタデータ） (2023-07-23T10:16:47Z)
• CleanCLIP: Mitigating Data Poisoning Attacks in Multimodal Contrastive Learning [63.72975421109622]
  CleanCLIPは、バックドア攻撃によって引き起こされる学習された刺激的関連を弱める微調整フレームワークである。 CleanCLIPは、マルチモーダル・コントラッシブ・ラーニングに対するバックドア・アタックを根絶しながら、良質な例によるモデル性能を維持している。
  論文  参考訳（メタデータ） (2023-03-06T17:48:32Z)
• Language-Driven Anchors for Zero-Shot Adversarial Robustness [25.160195547250655]
  本稿では,言語駆動型アンカー型対外訓練戦略を提案する。 テキストエンコーダのセマンティック一貫性を活用することで、LAATは画像モデルの対角的堅牢性を高めることを目指している。 LAATは、最先端手法よりもゼロショット対逆ロバスト性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2023-01-30T17:34:43Z)
• Beyond the Prototype: Divide-and-conquer Proxies for Few-shot Segmentation [63.910211095033596]
  少ないショットのセグメンテーションは、少数の濃密なラベル付けされたサンプルのみを与えられた、目に見えないクラスオブジェクトをセグメンテーションすることを目的としている。 分割・分散の精神において, 単純かつ多目的な枠組みを提案する。 提案手法は、DCP(disvision-and-conquer proxies)と呼ばれるもので、適切な信頼性のある情報の開発を可能にする。
  論文  参考訳（メタデータ） (2022-04-21T06:21:14Z)
• A Self-supervised Approach for Adversarial Robustness [105.88250594033053]
  敵対的な例は、ディープニューラルネットワーク(DNN)ベースの視覚システムにおいて破滅的な誤りを引き起こす可能性がある。 本稿では,入力空間における自己教師型対向学習機構を提案する。 これは、反逆攻撃に対する強力な堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-06-08T20:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。