論文の概要: TrojanEdit: Backdooring Text-Based Image Editing Models
- arxiv url: http://arxiv.org/abs/2411.14681v1
- Date: Fri, 22 Nov 2024 02:27:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-25 15:02:19.519475
- Title: TrojanEdit: Backdooring Text-Based Image Editing Models
- Title（参考訳）: TrojanEdit: テキストベースの画像編集モデルのバックドア化
- Authors: Ji Guo, Peihong Chen, Wenbo Jiang, Guoming Lu,
- Abstract要約: 画像編集モデルのためのバックドアアタックフレームワークTrojanEditを提案する。
5種類の視覚的トリガ,3種類のテキスト的トリガを探索し,それらを15種類のマルチモーダルトリガとして組み合わせる。
実験の結果,画像編集モデルはテクスチャトリガのバックドアバイアスを有することがわかった。
- 参考スコア（独自算出の注目度）: 1.392448435105643
- License:
- Abstract: As diffusion models have achieved success in image generation tasks, many studies have extended them to other related fields like image editing. Unlike image generation, image editing aims to modify an image based on user requests while keeping other parts of the image unchanged. Among these, text-based image editing is the most representative task.Some studies have shown that diffusion models are vulnerable to backdoor attacks, where attackers may poison the training data to inject the backdoor into models. However, previous backdoor attacks on diffusion models primarily focus on image generation models without considering image editing models. Given that image editing models accept multimodal inputs, it raises a new question regarding the effectiveness of different modalities triggers in backdoor attacks on these models. To address this question, we propose a backdoor attack framework for image editing models, named TrojanEdit, which can handle different modalities triggers. We explore five types of visual triggers, three types of textual triggers, and combine them together as fifteen types of multimodal triggers, conducting extensive experiments for three types of backdoor attack goals. Our experimental results show that the image editing model has a backdoor bias for texture triggers. Compared to visual triggers, textual triggers have stronger attack effectiveness but also cause more damage to the model's normal functionality. Furthermore, we found that multimodal triggers can achieve a good balance between the attack effectiveness and model's normal functionality.
- Abstract（参考訳）: 拡散モデルが画像生成タスクで成功したため、多くの研究が画像編集などの他の関連分野に拡張してきた。
画像生成とは異なり、画像編集は、画像の他の部分を変更せずに、ユーザの要求に基づいて画像を修正することを目的としている。
これらのうち、テキストベースの画像編集が最も代表的なタスクであり、ある研究では拡散モデルがバックドア攻撃に弱いことが示されており、攻撃者はトレーニングデータに毒を加えてモデルにバックドアを注入する可能性がある。
しかし、拡散モデルに対する過去のバックドア攻撃は、主に画像編集モデルを考えることなく、画像生成モデルに焦点を当てていた。
画像編集モデルがマルチモーダル入力を受け入れることを考えると、これらのモデルに対するバックドア攻撃において異なるモダリティトリガの有効性に関する新たな疑問が提起される。
そこで本研究では,異なるモダリティトリガを処理可能な画像編集モデルであるTrojanEditを提案する。
我々は,5種類の視覚的トリガー,3種類のテキスト的トリガーを探索し,それらを15種類のマルチモーダルトリガーとして組み合わせ,3種類のバックドア攻撃目標に対する広範囲な実験を行った。
実験の結果,画像編集モデルはテクスチャトリガのバックドアバイアスを有することがわかった。
視覚的なトリガーと比較して、テキストトリガーは攻撃効果が強いが、モデルの通常の機能にダメージを与える。
さらに,マルチモーダルトリガは,攻撃効率とモデルの通常の機能とのバランスが良好であることが判明した。
関連論文リスト
- Stealth edits to large language models [76.53356051271014]
モデルの編集可能性を評価するために、1つのメトリックを使用できることを示す。
また、ステルス攻撃に対する言語モデルの脆弱性を明らかにします。
論文 参考訳（メタデータ） (2024-06-18T14:43:18Z) - Stealthy Targeted Backdoor Attacks against Image Captioning [16.409633596670368]
本稿では,画像キャプションモデルに対するバックドア攻撃を標的とした新たな手法を提案する。
本手法は,物体検出に普遍摂動技術を活用することで,まず特別なトリガを学習する。
我々のアプローチは、モデルクリーンパフォーマンスに無視できる影響を与えながら、高い攻撃成功率を達成することができる。
論文 参考訳（メタデータ） (2024-06-09T18:11:06Z) - Backdoor Attack with Mode Mixture Latent Modification [26.720292228686446]
本研究では,微調整の要領でバックドアを注入するために,クリーンモデルへの最小限の変更しか必要としないバックドア攻撃パラダイムを提案する。
提案手法の有効性を4つのベンチマーク・データセットで評価した。
論文 参考訳（メタデータ） (2024-03-12T09:59:34Z) - Object-oriented backdoor attack against image captioning [40.5688859498834]
画像分類タスクに対するバックドア攻撃は広く研究され、成功したことが証明されている。
本稿では,トレーニングデータから画像キャプションモデルへのバックドア攻撃について検討する。
本手法は,画像キャプティングモデルのバックドア攻撃に対する弱点を証明し,画像キャプティング分野におけるバックドア攻撃に対する防御意識を高めることを期待する。
論文 参考訳（メタデータ） (2024-01-05T01:52:13Z) - Protect Federated Learning Against Backdoor Attacks via Data-Free
Trigger Generation [25.072791779134]
Federated Learning (FL)は、大規模クライアントが生データを共有せずに、協力的にモデルをトレーニングすることを可能にする。
信頼できないクライアントのデータ監査が欠如しているため、FLは特にバックドアアタックに対する攻撃に対して脆弱である。
バックドア攻撃の2つの特徴に基づく,データフリーなトリガジェネレーションに基づく防衛手法を提案する。
論文 参考訳（メタデータ） (2023-08-22T10:16:12Z) - Mask and Restore: Blind Backdoor Defense at Test Time with Masked
Autoencoder [57.739693628523]
Masked AutoEncoder (BDMAE) を用いたブラインドバックドア防御のためのフレームワークを提案する。
BDMAEは、画像構造的類似性とテスト画像とMAE復元の間のラベル整合性を用いて、トークン空間で可能なトリガを検出する。
私たちのアプローチは、モデル復元、パターンのトリガー、画像の良心に盲目です。
論文 参考訳（メタデータ） (2023-03-27T19:23:33Z) - SINE: SINgle Image Editing with Text-to-Image Diffusion Models [10.67527134198167]
本研究の目的は、単一画像編集の問題に対処することである。
分類器フリーガイダンスに基づく新しいモデルベースガイダンスを提案する。
スタイルの変更、コンテンツの追加、オブジェクト操作など、有望な編集機能を示す。
論文 参考訳（メタデータ） (2022-12-08T18:57:13Z) - Composing Ensembles of Pre-trained Models via Iterative Consensus [95.10641301155232]
本稿では,異なる事前学習モデルのアンサンブルを構成するための統一的なフレームワークを提案する。
事前学習したモデルを「ジェネレータ」あるいは「スコーラ」として使用し、クローズドループ反復コンセンサス最適化により構成する。
スコアラーのアンサンブルによって達成されたコンセンサスは、シングルスコアラーのフィードバックよりも優れていることを示す。
論文 参考訳（メタデータ） (2022-10-20T18:46:31Z) - Frequency Domain Model Augmentation for Adversarial Attack [91.36850162147678]
ブラックボックス攻撃の場合、代用モデルと被害者モデルの間のギャップは通常大きい。
そこで本研究では,通常の訓練モデルと防衛モデルの両方に対して,より伝達可能な対角線モデルを構築するための新しいスペクトルシミュレーション攻撃を提案する。
論文 参考訳（メタデータ） (2022-07-12T08:26:21Z) - Check Your Other Door! Establishing Backdoor Attacks in the Frequency
Domain [80.24811082454367]
検出不能で強力なバックドア攻撃を確立するために周波数領域を利用する利点を示す。
また、周波数ベースのバックドア攻撃を成功させる2つの防御方法と、攻撃者がそれらを回避できる可能性を示す。
論文 参考訳（メタデータ） (2021-09-12T12:44:52Z) - Clean-Label Backdoor Attacks on Video Recognition Models [87.46539956587908]
画像バックドア攻撃は、ビデオでははるかに効果が低いことを示す。
本稿では,映像認識モデルに対するバックドアトリガとして,ユニバーサル・ディバイサル・トリガーを提案する。
提案したバックドア攻撃は,最先端のバックドア防御・検出手法に耐性がある。
論文 参考訳（メタデータ） (2020-03-06T04:51:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。