論文の概要: Robust Contrastive Language-Image Pretraining against Adversarial
Attacks
- arxiv url: http://arxiv.org/abs/2303.06854v1
- Date: Mon, 13 Mar 2023 04:49:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 16:21:35.537287
- Title: Robust Contrastive Language-Image Pretraining against Adversarial
Attacks
- Title(参考訳): 対人攻撃に対するロバストコントラスト言語画像前処理
- Authors: Wenhan Yang, Baharan Mirzasoleiman
- Abstract要約: 本稿では,ロコプティブな事前学習と細調整型マルチモーダル視覚言語モデルのための最初の効果的な手法であるRoCLIPを提案する。
実験の結果,RoCLIPはトレーニング前では0%,微調整後では1%-4%に低下することがわかった。
- 参考スコア(独自算出の注目度): 56.68709470137506
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contrastive vision-language representation learning has achieved
state-of-the-art performance for zero-shot classification, by learning from
millions of image-caption pairs crawled from the internet. However, the massive
data that powers large multimodal models such as CLIP, makes them extremely
vulnerable to various types of adversarial attacks, including targeted and
backdoor data poisoning attacks. Despite this vulnerability, robust contrastive
vision-language pretraining against adversarial attacks has remained
unaddressed. In this work, we propose RoCLIP, the first effective method for
robust pretraining {and fine-tuning} multimodal vision-language models. RoCLIP
effectively breaks the association between poisoned image-caption pairs by
considering a pool of random examples, and (1) matching every image with the
text that is most similar to its caption in the pool, and (2) matching every
caption with the image that is most similar to its image in the pool. Our
extensive experiments show that our method renders state-of-the-art targeted
data poisoning and backdoor attacks ineffective during pre-training or
fine-tuning of CLIP. In particular, RoCLIP decreases the poison and backdoor
attack success rates down to 0\% during pre-training and 1\%-4\% during
fine-tuning, and effectively improves the model's performance.
- Abstract(参考訳): 対照的な視覚言語表現学習は、インターネットからクロールされた数百万のイメージキャプチャペアから学習することで、ゼロショット分類の最先端のパフォーマンスを達成している。
しかし、CLIPのような大規模なマルチモーダルモデルを動かす巨大なデータは、ターゲットデータやバックドアデータ中毒攻撃など、さまざまな種類の敵攻撃に対して極めて脆弱である。
この脆弱性にもかかわらず、逆境攻撃に対する強固な対照的な視覚言語前訓練は未対応のままである。
本研究では,<and fine-tuning>マルチモーダル視覚言語モデルのためのロクリップ法を提案する。
RoCLIPは、ランダムなサンプルのプールを考慮し、(1)全ての画像とプールのキャプションに最も近いテキストをマッチングし、(2)全てのキャプションとプールのイメージに最もよく似た画像とをマッチングすることにより、有毒な画像カプセルの関連を効果的に破壊する。
提案手法は,CLIPの事前訓練や微調整において,最先端のデータ中毒やバックドア攻撃が有効でないことを示す。
特に、RoCLIPは、事前トレーニング中に毒性とバックドア攻撃の成功率を0\%、微調整時に1\%-4\%に低下させ、モデルの性能を効果的に向上させる。
関連論文リスト
- Universal Vulnerabilities in Large Language Models: Backdoor Attacks for
In-context Learning [15.03179582977345]
In-context Learningは、事前学習と微調整のギャップを埋めるパラダイムであり、いくつかのNLPタスクにおいて高い有効性を示している。
広く適用されているにもかかわらず、コンテキスト内学習は悪意のある攻撃に対して脆弱である。
我々は、コンテキスト内学習に基づく大規模言語モデルをターゲットに、ICLAttackという新しいバックドアアタック手法を設計する。
論文 参考訳(メタデータ) (2024-01-11T14:38:19Z) - SA-Attack: Improving Adversarial Transferability of Vision-Language
Pre-training Models via Self-Augmentation [56.622250514119294]
ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。
本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
論文 参考訳(メタデータ) (2023-12-08T09:08:50Z) - BadCLIP: Trigger-Aware Prompt Learning for Backdoor Attacks on CLIP [58.63205563349405]
BadCLIPは、CLIPに対するバックドア攻撃において、新しく効果的なメカニズムの上に構築されている。
画像に適用される学習可能なトリガーとトリガー対応コンテキストジェネレータで構成されており、トリガーはトリガー対応プロンプトを通じてテキスト機能を変更することができる。
論文 参考訳(メタデータ) (2023-11-26T14:24:13Z) - Better Safe than Sorry: Pre-training CLIP against Targeted Data
Poisoning and Backdoor Attacks [52.26631767748843]
大規模な画像キャプチャデータセット上でのCLIP(Contrastive Language- Image Pre-training)は、ゼロショット分類において顕著な成功を収めた。
CLIPは、教師付き学習と比較して、ターゲットデータ中毒やバックドア攻撃に対してより脆弱である。
我々は、ターゲットデータ中毒やバックドア攻撃に対して、CLIPを安全に事前訓練するための強力な防御策SAFECLIPを提案する。
論文 参考訳(メタデータ) (2023-10-05T19:42:03Z) - Practical Membership Inference Attacks Against Large-Scale Multi-Modal
Models: A Pilot Study [17.421886085918608]
メンバーシップ推論攻撃(MIA)は、機械学習モデルのトレーニングにデータポイントを使用したかどうかを推測することを目的としている。
これらの攻撃は、潜在的なプライバシー上の脆弱性を特定し、個人データの不正使用を検出するために使用できる。
本稿では,大規模マルチモーダルモデルに対する実用的なMIAの開発に向けて第一歩を踏み出す。
論文 参考訳(メタデータ) (2023-09-29T19:38:40Z) - RSBA: Robust Statistical Backdoor Attack under Privilege-Constrained
Scenarios [9.38518049643553]
学習ベースのシステムは、バックドア攻撃に弱いことが示されている。
本稿では,RSBA(Robust Statistical Backdoor Attack under Privilege-Constrained scenarios)を紹介する。
RSBAの画像増倍とモデル蒸留に対するロバスト性を実験的に理論的に実証した。
論文 参考訳(メタデータ) (2023-04-21T14:35:47Z) - CleanCLIP: Mitigating Data Poisoning Attacks in Multimodal Contrastive
Learning [63.72975421109622]
CleanCLIPは、バックドア攻撃によって引き起こされる学習された刺激的関連を弱める微調整フレームワークである。
CleanCLIPは、マルチモーダル・コントラッシブ・ラーニングに対するバックドア・アタックを根絶しながら、良質な例によるモデル性能を維持している。
論文 参考訳(メタデータ) (2023-03-06T17:48:32Z) - How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。
本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。
我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
論文 参考訳(メタデータ) (2020-12-02T15:30:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。