論文の概要: Robust Contrastive Language-Image Pretraining against Adversarial Attacks

• arxiv url: http://arxiv.org/abs/2303.06854v1
• Date: Mon, 13 Mar 2023 04:49:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 16:21:35.537287
• Title: Robust Contrastive Language-Image Pretraining against Adversarial Attacks
• Title（参考訳）: 対人攻撃に対するロバストコントラスト言語画像前処理
• Authors: Wenhan Yang, Baharan Mirzasoleiman
• Abstract要約: 本稿では,ロコプティブな事前学習と細調整型マルチモーダル視覚言語モデルのための最初の効果的な手法であるRoCLIPを提案する。 実験の結果,RoCLIPはトレーニング前では0%,微調整後では1%-4%に低下することがわかった。
• 参考スコア（独自算出の注目度）: 56.68709470137506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive vision-language representation learning has achieved state-of-the-art performance for zero-shot classification, by learning from millions of image-caption pairs crawled from the internet. However, the massive data that powers large multimodal models such as CLIP, makes them extremely vulnerable to various types of adversarial attacks, including targeted and backdoor data poisoning attacks. Despite this vulnerability, robust contrastive vision-language pretraining against adversarial attacks has remained unaddressed. In this work, we propose RoCLIP, the first effective method for robust pretraining {and fine-tuning} multimodal vision-language models. RoCLIP effectively breaks the association between poisoned image-caption pairs by considering a pool of random examples, and (1) matching every image with the text that is most similar to its caption in the pool, and (2) matching every caption with the image that is most similar to its image in the pool. Our extensive experiments show that our method renders state-of-the-art targeted data poisoning and backdoor attacks ineffective during pre-training or fine-tuning of CLIP. In particular, RoCLIP decreases the poison and backdoor attack success rates down to 0\% during pre-training and 1\%-4\% during fine-tuning, and effectively improves the model's performance.
• Abstract（参考訳）: 対照的な視覚言語表現学習は、インターネットからクロールされた数百万のイメージキャプチャペアから学習することで、ゼロショット分類の最先端のパフォーマンスを達成している。 しかし、CLIPのような大規模なマルチモーダルモデルを動かす巨大なデータは、ターゲットデータやバックドアデータ中毒攻撃など、さまざまな種類の敵攻撃に対して極めて脆弱である。 この脆弱性にもかかわらず、逆境攻撃に対する強固な対照的な視覚言語前訓練は未対応のままである。 本研究では,<and fine-tuning>マルチモーダル視覚言語モデルのためのロクリップ法を提案する。 RoCLIPは、ランダムなサンプルのプールを考慮し、(1)全ての画像とプールのキャプションに最も近いテキストをマッチングし、(2)全てのキャプションとプールのイメージに最もよく似た画像とをマッチングすることにより、有毒な画像カプセルの関連を効果的に破壊する。 提案手法は,CLIPの事前訓練や微調整において,最先端のデータ中毒やバックドア攻撃が有効でないことを示す。 特に、RoCLIPは、事前トレーニング中に毒性とバックドア攻撃の成功率を0\%、微調整時に1\%-4\%に低下させ、モデルの性能を効果的に向上させる。

関連論文リスト

• CleanerCLIP: Fine-grained Counterfactual Semantic Augmentation for Backdoor Defense in Contrastive Learning [53.766434746801366]
  バックドアトリガの特徴的接続を遮断するための細粒な textbfText textbfAlignment textbfCleaner (TA-Cleaner) を提案する。 TA-Cleanerは、ファインタニングベースの防御技術の中で最先端の防御性を達成している。
  論文  参考訳（メタデータ） (2024-09-26T07:35:23Z)
• Adversarial Backdoor Defense in CLIP [47.6497532581449]
  CLIPのようなモデルで実証されたマルチモーダルコントラスト事前トレーニングは、バックドア攻撃に対して脆弱であることが判明した。 本稿では,新たなデータ拡張戦略であるAdversarial Backdoor Defenseを提案する。 実験により,ABDは,CLIPを標的とした従来型の単一モードとマルチモーダルの両方のバックドア攻撃に対して堅牢な防御を提供することが示された。
  論文  参考訳（メタデータ） (2024-09-24T10:56:18Z)
• Revisiting Backdoor Attacks against Large Vision-Language Models [76.42014292255944]
  本稿では,LVLMの命令チューニングにおけるバックドア攻撃の一般化可能性について実験的に検討する。 以上に基づいて,既存のバックドア攻撃を修正した。 本稿では,従来のシンプルなバックドア戦略でさえ,LVLMに深刻な脅威をもたらすことを指摘する。
  論文  参考訳（メタデータ） (2024-06-27T02:31:03Z)
• AICAttack: Adversarial Image Captioning Attack with Attention-Based Optimization [13.045125782574306]
  本稿では,画像上の微妙な摂動によって画像キャプションモデルを攻撃する新たな攻撃戦略であるAICAttackを提案する。 ブラックボックス攻撃シナリオ内で動作するため、我々のアルゴリズムはターゲットモデルのアーキテクチャ、パラメータ、勾配情報へのアクセスを必要としない。 複数の犠牲者モデルに対するベンチマークデータセットの広範な実験を通じて,AICAttackの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-19T08:27:23Z)
• BadCLIP: Trigger-Aware Prompt Learning for Backdoor Attacks on CLIP [55.33331463515103]
  BadCLIPは、CLIPに対するバックドア攻撃において、新しく効果的なメカニズムの上に構築されている。 画像に適用される学習可能なトリガーとトリガー対応コンテキストジェネレータで構成されており、トリガーはトリガー対応プロンプトを通じてテキスト機能を変更することができる。
  論文  参考訳（メタデータ） (2023-11-26T14:24:13Z)
• Better Safe than Sorry: Pre-training CLIP against Targeted Data Poisoning and Backdoor Attacks [46.504428925984406]
  大規模な画像キャプチャデータセット上でのCLIP(Contrastive Language- Image Pre-training)は、ゼロショット分類において顕著な成功を収めた。 CLIPは、教師付き学習と比較して、ターゲットデータ中毒やバックドア攻撃に対してより脆弱である。 我々は、ターゲットデータ中毒やバックドア攻撃に対して、CLIPを安全に事前訓練するための強力な防御策SAFECLIPを提案する。
  論文  参考訳（メタデータ） (2023-10-05T19:42:03Z)
• INK: Inheritable Natural Backdoor Attack Against Model Distillation [8.937026844871074]
  InKは、モデル蒸留を標的とした、継承可能な自然バックドアアタックである。 INKは画像のばらつきをバックドアトリガーとして採用し、クリーンイメージとクリーンラベル攻撃の両方を可能にする。 例えば、INKは、既存の方法では平均1.4%の攻撃成功率に対して、蒸留後98%以上の攻撃成功率を維持している。
  論文  参考訳（メタデータ） (2023-04-21T14:35:47Z)
• CleanCLIP: Mitigating Data Poisoning Attacks in Multimodal Contrastive Learning [63.72975421109622]
  CleanCLIPは、バックドア攻撃によって引き起こされる学習された刺激的関連を弱める微調整フレームワークである。 CleanCLIPは、マルチモーダル・コントラッシブ・ラーニングに対するバックドア・アタックを根絶しながら、良質な例によるモデル性能を維持している。
  論文  参考訳（メタデータ） (2023-03-06T17:48:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。