論文の概要: ToxicTextCLIP: Text-Based Poisoning and Backdoor Attacks on CLIP Pre-training

• arxiv url: http://arxiv.org/abs/2511.00446v1
• Date: Sat, 01 Nov 2025 08:25:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.780546
• Title: ToxicTextCLIP: Text-Based Poisoning and Backdoor Attacks on CLIP Pre-training
• Title（参考訳）: ToxicTextCLIP:CLIP事前トレーニングにおけるテキストベースのポジショニングとバックドアアタック
• Authors: Xin Yao, Haiyang Zhao, Yimin Chen, Jiawei Guo, Kecheng Huang, Ming Zhao,
• Abstract要約: ToxicTextCLIPは,事前学習期間中に高品質なテキストを生成するためのフレームワークである。 このフレームワークは、2つの主要な課題に対処する。背景の不整合による意味的不整合と、背景一貫性テキストの不足である。 最大95.83%の毒殺、98.68%のバックドアHit@1、RoCLIP、CleanCLIP、SafeCLIPをバイパスする。
• 参考スコア（独自算出の注目度）: 12.65848279918585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Contrastive Language-Image Pretraining (CLIP) model has significantly advanced vision-language modeling by aligning image-text pairs from large-scale web data through self-supervised contrastive learning. Yet, its reliance on uncurated Internet-sourced data exposes it to data poisoning and backdoor risks. While existing studies primarily investigate image-based attacks, the text modality, which is equally central to CLIP's training, remains underexplored. In this work, we introduce ToxicTextCLIP, a framework for generating high-quality adversarial texts that target CLIP during the pre-training phase. The framework addresses two key challenges: semantic misalignment caused by background inconsistency with the target class, and the scarcity of background-consistent texts. To this end, ToxicTextCLIP iteratively applies: 1) a background-aware selector that prioritizes texts with background content aligned to the target class, and 2) a background-driven augmenter that generates semantically coherent and diverse poisoned samples. Extensive experiments on classification and retrieval tasks show that ToxicTextCLIP achieves up to 95.83% poisoning success and 98.68% backdoor Hit@1, while bypassing RoCLIP, CleanCLIP and SafeCLIP defenses. The source code can be accessed via https://github.com/xinyaocse/ToxicTextCLIP/.
• Abstract（参考訳）: Contrastive Language-Image Pretraining (CLIP) モデルは、自己教師付きコントラスト学習を通じて、大規模なWebデータから画像テキストペアをアライメントすることで、視覚言語モデリングを著しく進歩させる。 しかし、未処理のインターネットソースデータへの依存は、データ中毒やバックドアのリスクに晒される。 既存の研究では画像ベースの攻撃を主に研究しているが、CLIPの訓練に等しく中心的なテキストモダリティは未調査のままである。 本稿では,CLIPを対象とした高品質なテキストを生成するフレームワークであるToxicTextCLIPを紹介する。 このフレームワークは、2つの主要な課題に対処する。背景の不整合による意味的不整合と、背景一貫性テキストの不足である。 この目的のために、ToxicTextCLIPは次のように繰り返し適用される。 1【対象クラスに整列した背景コンテンツによるテキストを優先する背景対応セレクタ】 2) セマンティック・コヒーレントで多彩な有毒な試料を生成する背景駆動型増強剤。 分類と検索タスクに関する大規模な実験によると、ToxicTextCLIPは最大95.83%の毒殺成功と98.68%のバックドアHit@1を達成し、RoCLIP、CleanCLIP、SafeCLIPの防衛をバイパスしている。 ソースコードはhttps://github.com/xinyaocse/ToxicTextCLIP/を通じてアクセスすることができる。

関連論文リスト

• SuperCLIP: CLIP with Simple Classification Supervision [88.86549733903314]
  Contrastive Language-Image Pretrainingは、画像とテキストを共有埋め込み空間に整列させることにより、視覚言語タスクの強力な一般化を実現する。 近年,CLIP様モデルでは,テキスト中の微細なセマンティック信号が依然として使われていないことが報告されている。 分類に基づく教師付きコントラスト学習のフレームワークであるSuperCLIPを提案する。
  論文  参考訳（メタデータ） (2025-12-16T15:11:53Z)
• Distill CLIP (DCLIP): Enhancing Image-Text Retrieval via Cross-Modal Transformer Distillation [4.063715077687089]
  Distill CLIP (DCLIP) はCLIPモデルの微調整版である。 オリジナルのモデルの強力なゼロショット分類機能を保ちながら、マルチモーダルな画像テキスト検索を強化する。
  論文  参考訳（メタデータ） (2025-05-25T07:08:07Z)
• BadCLIP: Trigger-Aware Prompt Learning for Backdoor Attacks on CLIP [55.33331463515103]
  BadCLIPは、CLIPに対するバックドア攻撃において、新しく効果的なメカニズムの上に構築されている。 画像に適用される学習可能なトリガーとトリガー対応コンテキストジェネレータで構成されており、トリガーはトリガー対応プロンプトを通じてテキスト機能を変更することができる。
  論文  参考訳（メタデータ） (2023-11-26T14:24:13Z)
• Symmetrical Linguistic Feature Distillation with CLIP for Scene Text Recognition [77.93678598476149]
  CLIP-OCR(Symmetrical Linguistic Feature Distillation framework)を新たに構築する。 CLIP画像エンコーダを逆CLIPテキストエンコーダでカスケードすることにより、画像からテキストまでの特徴フローで対称構造を構築する。 大規模な実験では、CLIP-OCRが6つのSTRベンチマークで平均精度93.8%で有効であることが示されている。
  論文  参考訳（メタデータ） (2023-10-08T04:00:20Z)
• Improving CLIP Training with Language Rewrites [57.935517901210225]
  言語書き換えによるCLIPトレーニングを強化するために,Language augmented CLIP (LaCLIP)を導入した。 また,LaCLIPは,学習中に計算やメモリオーバーヘッドを伴わずに転送性能を大幅に向上することを示した。 ImageNetゼロショット精度では、LaCLIPはCC12MでCLIPを8.2%、LAION-400Mで2.4%上回る。
  論文  参考訳（メタデータ） (2023-05-31T17:59:04Z)
• Robust Contrastive Language-Image Pre-training against Data Poisoning and Backdoor Attacks [52.26631767748843]
  ROCLIPは、ターゲットデータ中毒やバックドア攻撃に対して、マルチモーダル視覚言語モデルを堅牢に学習するための最初の効果的な方法である。 ROCLIPは、比較的大きく多様なランダムキャプションのプールを考慮することにより、有毒な撮像対の関連を効果的に破壊する。 実験の結果,ROCLIPは訓練前のCLIPモデルにおいて,最先端のデータ中毒やバックドア攻撃を未然に防ぐことができることがわかった。
  論文  参考訳（メタデータ） (2023-03-13T04:49:46Z)
• ComCLIP: Training-Free Compositional Image and Text Matching [19.373706257771673]
  コントラスト言語-画像事前訓練は画像とテキストのマッチングに優れたゼロショット性能を示した。 我々は新しいtextbftextittraining-free compositional CLIP model (ComCLIP) を提案する。 ComCLIPは、入力された画像を被写体、オブジェクト、アクションのサブイメージに切り離し、CLIPのビジョンエンコーダとテキストエンコーダを構成して、合成テキスト埋め込みとサブイメージ埋め込みに対する進化的なマッチングを実行する。
  論文  参考訳（メタデータ） (2022-11-25T01:37:48Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)
• DenseCLIP: Extract Free Dense Labels from CLIP [130.3830819077699]
  対照的に、CLIP(Contrastive Language- Image Pre-Training)は、オープンボキャブラリゼロショット画像認識において画期的な進歩を遂げた。 DenseCLIP+はSOTAトランスダクティブなゼロショットセマンティックセグメンテーション法を大きなマージンで上回る。 我々の発見は、DenseCLIPが高密度予測タスクの信頼性の高い新たな監視源となることを示唆している。
  論文  参考訳（メタデータ） (2021-12-02T09:23:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。