論文の概要: Robust Contrastive Language-Image Pre-training against Data Poisoning
and Backdoor Attacks
- arxiv url: http://arxiv.org/abs/2303.06854v2
- Date: Tue, 19 Dec 2023 19:12:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 19:23:28.160358
- Title: Robust Contrastive Language-Image Pre-training against Data Poisoning
and Backdoor Attacks
- Title(参考訳): データ中毒とバックドア攻撃に対するロバストなコントラスト言語画像前訓練
- Authors: Wenhan Yang, Jingdong Gao, Baharan Mirzasoleiman
- Abstract要約: ROCLIPは、ターゲットデータ中毒やバックドア攻撃に対して、マルチモーダル視覚言語モデルを堅牢に学習するための最初の効果的な方法である。
ROCLIPは、比較的大きく多様なランダムキャプションのプールを考慮することにより、有毒な撮像対の関連を効果的に破壊する。
実験の結果,ROCLIPは訓練前のCLIPモデルにおいて,最先端のデータ中毒やバックドア攻撃を未然に防ぐことができることがわかった。
- 参考スコア(独自算出の注目度): 52.26631767748843
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contrastive vision-language representation learning has achieved
state-of-the-art performance for zero-shot classification, by learning from
millions of image-caption pairs crawled from the internet. However, the massive
data that powers large multimodal models such as CLIP, makes them extremely
vulnerable to various types of targeted data poisoning and backdoor attacks.
Despite this vulnerability, robust contrastive vision-language pre-training
against such attacks has remained unaddressed. In this work, we propose ROCLIP,
the first effective method for robust pre-training multimodal vision-language
models against targeted data poisoning and backdoor attacks. ROCLIP effectively
breaks the association between poisoned image-caption pairs by considering a
relatively large and varying pool of random captions, and matching every image
with the text that is most similar to it in the pool instead of its own
caption, every few epochs.It also leverages image and text augmentations to
further strengthen the defense and improve the performance of the model. Our
extensive experiments show that ROCLIP renders state-of-the-art targeted data
poisoning and backdoor attacks ineffective during pre-training CLIP models. In
particular, ROCLIP decreases the success rate for targeted data poisoning
attacks from 93.75% to 12.5% and that of backdoor attacks down to 0%, while
improving the model's linear probe performance by 10% and maintains a similar
zero shot performance compared to CLIP. By increasing the frequency of
matching, ROCLIP is able to defend strong attacks, which add up to 1% poisoned
examples to the data, and successfully maintain a low attack success rate of
12.5%, while trading off the performance on some tasks.
- Abstract(参考訳): 対照的な視覚言語表現学習は、インターネットからクロールされた数百万のイメージキャプチャペアから学習することで、ゼロショット分類の最先端のパフォーマンスを達成している。
しかし、CLIPのような大規模なマルチモーダルモデルを動かす巨大なデータは、さまざまな種類のターゲットデータ中毒やバックドア攻撃に対して極めて脆弱である。
この脆弱性にもかかわらず、このような攻撃に対する強固な対照的な視覚言語事前訓練は未対応のままである。
本研究では,ターゲットとするデータ中毒やバックドア攻撃に対して,マルチモーダル視覚言語モデルの堅牢な事前学習を行う最初の方法であるroclipを提案する。
ROCLIPは、比較的大きく多彩なランダムキャプションのプールを考慮し、各画像と、そのキャプションではなく、プール内で最もよく似たテキストとを、いくつかのエポックごとにマッチングすることにより、有毒な画像キャプチャペアの関連を効果的に破壊する。また、画像とテキストの強化を活用して、防御をさらに強化し、モデルの性能を向上させる。
ROCLIPは、訓練前のCLIPモデルにおいて、最先端のデータ中毒やバックドア攻撃が効果的でないことを示す。
特にROCLIPは、ターゲットデータ中毒攻撃の成功率を93.75%から12.5%、バックドア攻撃の成功率を0%まで下げる一方で、モデルの線形プローブ性能を10%改善し、CLIPと比較して同様のゼロショット性能を維持する。
マッチング頻度を増大させることで、ROCLIPは強い攻撃を防御することができ、これはデータに有毒な例を最大1%増やし、低い攻撃成功率の12.5%を維持しながら、一部のタスクのパフォーマンスをトレードオフする。
関連論文リスト
- Universal Vulnerabilities in Large Language Models: Backdoor Attacks for
In-context Learning [15.03179582977345]
In-context Learningは、事前学習と微調整のギャップを埋めるパラダイムであり、いくつかのNLPタスクにおいて高い有効性を示している。
広く適用されているにもかかわらず、コンテキスト内学習は悪意のある攻撃に対して脆弱である。
我々は、コンテキスト内学習に基づく大規模言語モデルをターゲットに、ICLAttackという新しいバックドアアタック手法を設計する。
論文 参考訳(メタデータ) (2024-01-11T14:38:19Z) - SA-Attack: Improving Adversarial Transferability of Vision-Language
Pre-training Models via Self-Augmentation [56.622250514119294]
ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。
本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
論文 参考訳(メタデータ) (2023-12-08T09:08:50Z) - BadCLIP: Trigger-Aware Prompt Learning for Backdoor Attacks on CLIP [58.63205563349405]
BadCLIPは、CLIPに対するバックドア攻撃において、新しく効果的なメカニズムの上に構築されている。
画像に適用される学習可能なトリガーとトリガー対応コンテキストジェネレータで構成されており、トリガーはトリガー対応プロンプトを通じてテキスト機能を変更することができる。
論文 参考訳(メタデータ) (2023-11-26T14:24:13Z) - Better Safe than Sorry: Pre-training CLIP against Targeted Data
Poisoning and Backdoor Attacks [52.26631767748843]
大規模な画像キャプチャデータセット上でのCLIP(Contrastive Language- Image Pre-training)は、ゼロショット分類において顕著な成功を収めた。
CLIPは、教師付き学習と比較して、ターゲットデータ中毒やバックドア攻撃に対してより脆弱である。
我々は、ターゲットデータ中毒やバックドア攻撃に対して、CLIPを安全に事前訓練するための強力な防御策SAFECLIPを提案する。
論文 参考訳(メタデータ) (2023-10-05T19:42:03Z) - Practical Membership Inference Attacks Against Large-Scale Multi-Modal
Models: A Pilot Study [17.421886085918608]
メンバーシップ推論攻撃(MIA)は、機械学習モデルのトレーニングにデータポイントを使用したかどうかを推測することを目的としている。
これらの攻撃は、潜在的なプライバシー上の脆弱性を特定し、個人データの不正使用を検出するために使用できる。
本稿では,大規模マルチモーダルモデルに対する実用的なMIAの開発に向けて第一歩を踏み出す。
論文 参考訳(メタデータ) (2023-09-29T19:38:40Z) - RSBA: Robust Statistical Backdoor Attack under Privilege-Constrained
Scenarios [9.38518049643553]
学習ベースのシステムは、バックドア攻撃に弱いことが示されている。
本稿では,RSBA(Robust Statistical Backdoor Attack under Privilege-Constrained scenarios)を紹介する。
RSBAの画像増倍とモデル蒸留に対するロバスト性を実験的に理論的に実証した。
論文 参考訳(メタデータ) (2023-04-21T14:35:47Z) - CleanCLIP: Mitigating Data Poisoning Attacks in Multimodal Contrastive
Learning [63.72975421109622]
CleanCLIPは、バックドア攻撃によって引き起こされる学習された刺激的関連を弱める微調整フレームワークである。
CleanCLIPは、マルチモーダル・コントラッシブ・ラーニングに対するバックドア・アタックを根絶しながら、良質な例によるモデル性能を維持している。
論文 参考訳(メタデータ) (2023-03-06T17:48:32Z) - How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。
本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。
我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
論文 参考訳(メタデータ) (2020-12-02T15:30:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。