論文の概要: Better Safe than Sorry: Pre-training CLIP against Targeted Data
Poisoning and Backdoor Attacks
- arxiv url: http://arxiv.org/abs/2310.05862v1
- Date: Thu, 5 Oct 2023 19:42:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-11 00:18:31.558610
- Title: Better Safe than Sorry: Pre-training CLIP against Targeted Data
Poisoning and Backdoor Attacks
- Title(参考訳): Sorryより安全: ターゲットデータに対するCLIPの事前トレーニングとバックドア攻撃
- Authors: Wenhan Yang, Jingdong Gao, Baharan Mirzasoleiman
- Abstract要約: 大規模な画像キャプチャデータセット上でのCLIP(Contrastive Language- Image Pre-training)は、ゼロショット分類において顕著な成功を収めた。
CLIPは、教師付き学習と比較して、ターゲットデータ中毒やバックドア攻撃に対してより脆弱である。
我々は、ターゲットデータ中毒やバックドア攻撃に対して、CLIPを安全に事前訓練するための強力な防御策SAFECLIPを提案する。
- 参考スコア(独自算出の注目度): 52.26631767748843
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contrastive Language-Image Pre-training (CLIP) on large image-caption
datasets has achieved remarkable success in zero-shot classification and
enabled transferability to new domains. However, CLIP is extremely more
vulnerable to targeted data poisoning and backdoor attacks, compared to
supervised learning. Perhaps surprisingly, poisoning 0.0001% of CLIP
pre-training data is enough to make targeted data poisoning attacks successful.
This is four orders of magnitude smaller than what is required to poison
supervised models. Despite this vulnerability, existing methods are very
limited in defending CLIP models during pre-training. In this work, we propose
a strong defense, SAFECLIP, to safely pre-train CLIP against targeted data
poisoning and backdoor attacks. SAFECLIP warms up the model by applying
unimodal contrastive learning (CL) on image and text modalities separately.
Then, it carefully divides the data into safe and risky subsets. SAFECLIP
trains on the risky data by applying unimodal CL to image and text modalities
separately, and trains on the safe data using the CLIP loss. By gradually
increasing the size of the safe subset during the training, SAFECLIP
effectively breaks targeted data poisoning and backdoor attacks without harming
the CLIP performance. Our extensive experiments show that SAFECLIP decrease the
attack success rate of targeted data poisoning attacks from 93.75% to 0% and
that of the backdoor attacks from 100% to 0%, without harming the CLIP
performance on various datasets.
- Abstract(参考訳): 大規模な画像キャプチャデータセット上でのコントラスト型言語イメージプリトレーニング(clip)は,ゼロショット分類において著しく成功し,新たなドメインへの転送性を実現している。
しかし、CLIPは教師付き学習と比較して、ターゲットデータ中毒やバックドア攻撃に対して極めて脆弱である。
意外なことに、CLIP事前トレーニングデータの0.0001%を汚染することは、ターゲットデータ中毒攻撃を成功させるのに十分である。
これは、監督されたモデルに毒を盛るために必要なものよりも4桁小さい。
この脆弱性にもかかわらず、既存のメソッドは事前トレーニング中にCLIPモデルを保護するために非常に制限されている。
本研究は、ターゲットデータ中毒やバックドア攻撃に対するCLIPの訓練を安全に行うための強力な防御策であるSAFECLIPを提案する。
SAFECLIPは画像とテキストのモダリティに一元的コントラスト学習(CL)を適用してモデルをウォームアップする。
そして、データを安全に危険なサブセットに慎重に分割する。
SAFECLIPは、画像とテキストのモダリティに一元的CLを適用してリスクデータをトレーニングし、CLIP損失を使用して安全なデータをトレーニングする。
トレーニング中の安全なサブセットのサイズを徐々に大きくすることで、SAFECLIPはCLIPのパフォーマンスを損なうことなく、ターゲットデータ中毒やバックドア攻撃を効果的に破壊する。
広範囲にわたる実験により,safeclipは標的データ中毒攻撃の攻撃成功率を93.75%から0%に,バックドア攻撃を100%から0%に低下させた。
関連論文リスト
- BadCLIP: Trigger-Aware Prompt Learning for Backdoor Attacks on CLIP [58.63205563349405]
BadCLIPは、CLIPに対するバックドア攻撃において、新しく効果的なメカニズムの上に構築されている。
画像に適用される学習可能なトリガーとトリガー対応コンテキストジェネレータで構成されており、トリガーはトリガー対応プロンプトを通じてテキスト機能を変更することができる。
論文 参考訳(メタデータ) (2023-11-26T14:24:13Z) - A Comprehensive Study of Privacy Risks in Curriculum Learning [25.57099711643689]
有意義な順序でデータで機械学習モデルをトレーニングすることは、トレーニングプロセスの加速に有効であることが証明されている。
重要な実現技術はカリキュラム学習(CL)であり、大きな成功を収め、画像やテキストの分類などの分野に展開されてきた。
しかし、CLが機械学習のプライバシーにどのように影響するかは不明だ。
論文 参考訳(メタデータ) (2023-10-16T07:06:38Z) - Demystifying CLIP Data [89.2132793325337]
Contrastive Language-Image Pre-Training (CLIP) はコンピュータビジョンの先進的な研究と応用を行っている。
メタデータ変換言語画像事前学習(MetaCLIP)について紹介する。
MetaCLIPは生のデータプールとメタデータ(CLIPの概念から派生したもの)を取り、メタデータの分布に対してバランスの取れたサブセットを生成する。
論文 参考訳(メタデータ) (2023-09-28T17:59:56Z) - Efficient Backdoor Attacks for Deep Neural Networks in Real-world
Scenarios [17.96339494812858]
ディープニューラルネットワーク(DNN)は大量のトレーニングデータに依存しており、悪意のある攻撃者がデータを悪用して汚染する機会となっている。
本稿では、被害者が複数のソースからデータを収集し、攻撃者が完全な訓練データにアクセスできないような、より現実的な攻撃シナリオを提案する。
本稿では,CLIP(Contrastive Language- Image Pre-Training)モデルを利用した新しい手法を提案する。
論文 参考訳(メタデータ) (2023-06-14T09:21:48Z) - Robust Contrastive Language-Image Pre-training against Data Poisoning
and Backdoor Attacks [52.26631767748843]
ROCLIPは、ターゲットデータ中毒やバックドア攻撃に対して、マルチモーダル視覚言語モデルを堅牢に学習するための最初の効果的な方法である。
ROCLIPは、比較的大きく多様なランダムキャプションのプールを考慮することにより、有毒な撮像対の関連を効果的に破壊する。
実験の結果,ROCLIPは訓練前のCLIPモデルにおいて,最先端のデータ中毒やバックドア攻撃を未然に防ぐことができることがわかった。
論文 参考訳(メタデータ) (2023-03-13T04:49:46Z) - Accumulative Poisoning Attacks on Real-time Data [56.96241557830253]
我々は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを示します。
我々の研究は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを検証する。
論文 参考訳(メタデータ) (2021-06-18T08:29:53Z) - Strong Data Augmentation Sanitizes Poisoning and Backdoor Attacks
Without an Accuracy Tradeoff [57.35978884015093]
CutMixのような強力なデータ拡張は、パフォーマンスを損なうことなく、中毒やバックドア攻撃の脅威を著しく減少させる可能性がある。
バックドアのコンテキストでは、CutMixは攻撃を大幅に軽減し、同時にバリデーションの精度を9%向上させる。
論文 参考訳(メタデータ) (2020-11-18T20:18:50Z) - A Separation Result Between Data-oblivious and Data-aware Poisoning
Attacks [40.044030156696145]
殺人攻撃は、機械学習アルゴリズムに対する重要なセキュリティ脅威として浮上している。
強力な毒殺攻撃のいくつかは、トレーニングデータの完全な知識を必要とする。
本研究は,全情報相手が最適攻撃者よりも確実に強いことを示す。
論文 参考訳(メタデータ) (2020-03-26T16:40:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。