論文の概要: BadCM: Invisible Backdoor Attack Against Cross-Modal Learning
- arxiv url: http://arxiv.org/abs/2410.02182v1
- Date: Thu, 3 Oct 2024 03:51:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 08:15:54.221969
- Title: BadCM: Invisible Backdoor Attack Against Cross-Modal Learning
- Title（参考訳）: BadCM: クロスモーダル学習に対する目に見えないバックドア攻撃
- Authors: Zheng Zhang, Xu Yuan, Lei Zhu, Jingkuan Song, Liqiang Nie,
- Abstract要約: クロスモーダルバックドアにおけるパズルの欠片を補うために,新たな両面バックドアを導入する。
BadCMは、1つの統合されたフレームワーク内で多様なクロスモーダルアタックのために意図的に設計された最初の目に見えないバックドアメソッドである。
- 参考スコア（独自算出の注目度）: 110.37205323355695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite remarkable successes in unimodal learning tasks, backdoor attacks against cross-modal learning are still underexplored due to the limited generalization and inferior stealthiness when involving multiple modalities. Notably, since works in this area mainly inherit ideas from unimodal visual attacks, they struggle with dealing with diverse cross-modal attack circumstances and manipulating imperceptible trigger samples, which hinders their practicability in real-world applications. In this paper, we introduce a novel bilateral backdoor to fill in the missing pieces of the puzzle in the cross-modal backdoor and propose a generalized invisible backdoor framework against cross-modal learning (BadCM). Specifically, a cross-modal mining scheme is developed to capture the modality-invariant components as target poisoning areas, where well-designed trigger patterns injected into these regions can be efficiently recognized by the victim models. This strategy is adapted to different image-text cross-modal models, making our framework available to various attack scenarios. Furthermore, for generating poisoned samples of high stealthiness, we conceive modality-specific generators for visual and linguistic modalities that facilitate hiding explicit trigger patterns in modality-invariant regions. To the best of our knowledge, BadCM is the first invisible backdoor method deliberately designed for diverse cross-modal attacks within one unified framework. Comprehensive experimental evaluations on two typical applications, i.e., cross-modal retrieval and VQA, demonstrate the effectiveness and generalization of our method under multiple kinds of attack scenarios. Moreover, we show that BadCM can robustly evade existing backdoor defenses. Our code is available at https://github.com/xandery-geek/BadCM.
- Abstract（参考訳）: 単調な学習タスクで顕著な成功を収めたにもかかわらず、複数のモダリティに関わる場合の一般化と劣悪なステルスネスのために、クロスモーダル学習に対するバックドアアタックはいまだに未発見のままである。
特に、この分野での作業は、主に単調な視覚的攻撃からアイデアを継承するため、多種多様なクロスモーダル攻撃状況への対処と、現実の応用における実践性を阻害する非受容的なトリガーサンプルの操作に苦慮している。
本稿では,クロスモーダル学習(BadCM)に対して,クロスモーダル学習(BadCM)に対して,パズルの欠落部分を埋める新たな両面バックドアを提案する。
具体的には、モダリティ不変成分を標的中毒領域として捉え、これらの領域に適切に設計されたトリガーパターンを被害者モデルにより効率的に認識するクロスモーダルマイニング手法を開発した。
この戦略はさまざまな画像テキストのクロスモーダルモデルに適応しており、当社のフレームワークはさまざまな攻撃シナリオで利用できます。
さらに,高盗難の有毒試料を生成するために,モダリティ非変質領域の明示的トリガーパターンの隠蔽を容易にする視覚的・言語的モダリティのためのモダリティ特異的ジェネレータを考案した。
私たちの知る限りでは、BadCMは、1つの統合されたフレームワーク内で多様なクロスモーダルアタックのために意図的に設計された最初の目に見えないバックドアメソッドです。
クロスモーダル検索(クロスモーダル検索)とVQA(VQA)の2つの典型的な応用に関する総合的な実験的評価により,多種類の攻撃シナリオ下での本手法の有効性と一般化が実証された。
さらに,BadCMは既存のバックドア防御を確実に回避できることを示す。
私たちのコードはhttps://github.com/xandery-geek/BadCMで利用可能です。
関連論文リスト
- MakeupAttack: Feature Space Black-box Backdoor Attack on Face Recognition via Makeup Transfer [6.6251662169603005]
メイクアップアタック(MakeupAttack)と呼ばれるメイクアップトランスファーによる顔認証に対するバックドア攻撃を提案する。
本攻撃では,提案したメイクスタイルトリガーの微妙な特徴を学習するための反復訓練パラダイムを設計する。
提案手法は, モデル性能を損なうことなく, 有効性, 堅牢性, 自然性, ステルス性を保ちながら, 既存の防御を回避できることを示す。
論文 参考訳（メタデータ） (2024-08-22T11:39:36Z) - Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。
バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む
我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
論文 参考訳（メタデータ） (2024-03-24T18:33:15Z) - Shortcuts Everywhere and Nowhere: Exploring Multi-Trigger Backdoor Attacks [26.600846339400956]
ディープニューラルネットワーク(DNN)の事前トレーニングとデプロイに対して、バックドア攻撃は重大な脅威となっている。
本研究では,マルチトリガーバックドア攻撃(MTBA)の概念について検討し,複数の敵が異なる種類のトリガーを利用して同一のデータセットを毒する。
textitparallel, textitsequential, textithybrid 攻撃を含む3種類のマルチトリガー攻撃を提案し, 調査することにより, 1) 複数のトリガが共存し, オーバーライトし, 相互に作用し, 2) MTBAが容易に破壊できることが実証された。
論文 参考訳（メタデータ） (2024-01-27T04:49:37Z) - BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive
Learning [85.2564206440109]
本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。
バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
論文 参考訳（メタデータ） (2023-11-20T02:21:49Z) - VillanDiffusion: A Unified Backdoor Attack Framework for Diffusion
Models [69.20464255450788]
拡散モデル(英: Diffusion Models, DM)は、可逆的ノイズ付加から可逆的腐敗過程を学習し、雑音を除去する手法である。
最近の研究では、基本的な無条件DMがバックドア注入に弱いことが示されている。
本稿では,DMのバックドア分析の現在の範囲を広げるために,統合されたバックドア攻撃フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-12T05:14:13Z) - Personalization as a Shortcut for Few-Shot Backdoor Attack against
Text-to-Image Diffusion Models [23.695414399663235]
本稿では,個人化によるバックドア攻撃に対するテキスト・ツー・イメージ(T2I)拡散モデルの潜在的な脆弱性について検討する。
本研究は,テキスト・インバージョンとDreamBoothによるパーソナライズ手法の2つのファミリーで普及しているゼロデイバックドア脆弱性に焦点を当てた。
Textual InversionとDreamBoothの即時処理を研究することで、未確認トークンの扱い方によって、バックドア攻撃を考案しました。
論文 参考訳（メタデータ） (2023-05-18T04:28:47Z) - Backdoor Attack with Sparse and Invisible Trigger [57.41876708712008]
ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。
バックドアアタックは、訓練段階の脅威を脅かしている。
軽度で目に見えないバックドアアタック(SIBA)を提案する。
論文 参考訳（メタデータ） (2023-05-11T10:05:57Z) - Untargeted Backdoor Attack against Object Detection [69.63097724439886]
我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。
攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
論文 参考訳（メタデータ） (2022-11-02T17:05:45Z) - Dual-Key Multimodal Backdoors for Visual Question Answering [26.988750557552983]
マルチモーダルネットワークは、Dual-Key Multimodal Backdoorsと呼ばれる新しいタイプの攻撃に対して脆弱であることを示す。
この攻撃は、最先端のネットワークが使用する複雑な融合機構を利用して、効果的でステルス的なバックドアを埋め込む。
本稿では,視覚的質問応答(VQA)タスクにおけるマルチモーダルバックドアについて,複数のアーキテクチャと視覚的特徴バックボーンを用いた広範な検討を行う。
論文 参考訳（メタデータ） (2021-12-14T18:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。