論文の概要: Cheating Suffix: Targeted Attack to Text-To-Image Diffusion Models with Multi-Modal Priors

• arxiv url: http://arxiv.org/abs/2402.01369v1
• Date: Fri, 2 Feb 2024 12:39:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 15:27:42.307731
• Title: Cheating Suffix: Targeted Attack to Text-To-Image Diffusion Models with Multi-Modal Priors
• Title（参考訳）: 加熱接尾辞:マルチモーダル優先によるテキスト・画像拡散モデルへの標的攻撃
• Authors: Dingcheng Yang, Yang Bai, Xiaojun Jia, Yang Liu, Xiaochun Cao, Wenjian Yu
• Abstract要約: 拡散モデルは様々な画像生成タスクに広く展開されている。 彼らは悪意ある画像や機密画像を生成するために悪用されるという課題に直面している。 本稿では,MMP-Attack という攻撃手法を提案する。
• 参考スコア（独自算出の注目度）: 59.43303903348258
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have been widely deployed in various image generation tasks, demonstrating an extraordinary connection between image and text modalities. However, they face challenges of being maliciously exploited to generate harmful or sensitive images by appending a specific suffix to the original prompt. Existing works mainly focus on using single-modal information to conduct attacks, which fails to utilize multi-modal features and results in less than satisfactory performance. Integrating multi-modal priors (MMP), i.e. both text and image features, we propose a targeted attack method named MMP-Attack in this work. Specifically, the goal of MMP-Attack is to add a target object into the image content while simultaneously removing the original object. The MMP-Attack shows a notable advantage over existing works with superior universality and transferability, which can effectively attack commercial text-to-image (T2I) models such as DALL-E 3. To the best of our knowledge, this marks the first successful attempt of transfer-based attack to commercial T2I models. Our code is publicly available at \url{https://github.com/ydc123/MMP-Attack}.
• Abstract（参考訳）: 拡散モデルは様々な画像生成タスクに広く展開され、画像とテキストのモダリティの間に異常なつながりを示す。 しかし、元のプロンプトに特定の接尾辞を追加することで有害な画像や繊細な画像を生成するために悪用されるという課題に直面している。 既存の作業は主に、単一モーダル情報を使用して攻撃を実行することに焦点を当てており、これはマルチモーダル機能の利用に失敗し、結果として満足なパフォーマンスを達成できない。 本稿では,マルチモーダルプリエント (mmp) の統合,すなわちテキストと画像の両方の機能について,mmp攻撃と呼ばれる標的攻撃手法を提案する。 具体的には、MMP-Attackの目標は、元のオブジェクトを同時に削除しながら、ターゲットオブジェクトをイメージコンテンツに追加することである。 MMP-Attackは、DALL-E 3のような商用テキスト・ツー・イメージ(T2I)モデルを効果的に攻撃できる、優れた普遍性と転送性を持つ既存の作品に対して、顕著な優位性を示している。 私たちの知る限りでは、これは商用T2Iモデルへのトランスファーベースのアタックの最初の成功例です。 我々のコードは \url{https://github.com/ydc123/MMP-Attack} で公開されている。

関連論文リスト

• Omni-IML: Towards Unified Image Manipulation Localization [33.38946428507517]
  IMLタスクを統一する最初の一般モデルであるOmni-IMLを提案する。 我々は、自然画像、文書画像、顔画像の3つの主要なシナリオにわたるIMLタスクに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2024-11-22T09:44:13Z)
• Unsupervised Modality Adaptation with Text-to-Image Diffusion Models for Semantic Segmentation [54.96563068182733]
  セグメンテーションタスクのためのテキスト・ツー・イメージ拡散モデル(MADM)を用いたモダリティ適応を提案する。 MADMは、広範囲な画像とテキストのペアで事前訓練されたテキストと画像の拡散モデルを使用して、モデルの相互モダリティ能力を向上する。 我々は,MADMが画像から深度,赤外線,イベントのモダリティといった様々なモダリティタスクにまたがって,最先端の適応性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-10-29T03:49:40Z)
• AnyAttack: Towards Large-scale Self-supervised Generation of Targeted Adversarial Examples for Vision-Language Models [41.044385916368455]
  VLM(Vision-Language Models)は、画像ベースの敵攻撃に対して脆弱である。 本稿では,ラベル管理なしでVLMのターゲット画像を生成する自己教師型フレームワークであるAnyAttackを提案する。
  論文  参考訳（メタデータ） (2024-10-07T09:45:18Z)
• RT-Attack: Jailbreaking Text-to-Image Models via Random Token [24.61198605177661]
  ランダム検索を利用した2段階のクエリベースのブラックボックスアタック手法を提案する。 第1段階では、敵と標的の有害なプロンプト間の意味的類似性を最大化することにより、予備的なプロンプトを確立する。 第2段階では、この初期プロンプトを使用してアプローチを洗練し、脱獄を目的とした詳細な敵対的プロンプトを作成します。
  論文  参考訳（メタデータ） (2024-08-25T17:33:40Z)
• White-box Multimodal Jailbreaks Against Large Vision-Language Models [61.97578116584653]
  本稿では,テキストと画像のモダリティを併用して,大規模視覚言語モデルにおけるより広範な脆弱性のスペクトルを利用する,より包括的戦略を提案する。 本手法は,テキスト入力がない場合に,逆画像プレフィックスをランダムノイズから最適化し,有害な応答を多様に生成することから始める。 様々な有害な指示に対する肯定的な反応を誘発する確率を最大化するために、対向テキスト接頭辞を、対向画像接頭辞と統合し、共最適化する。
  論文  参考訳（メタデータ） (2024-05-28T07:13:30Z)
• VQAttack: Transferable Adversarial Attacks on Visual Question Answering via Pre-trained Models [58.21452697997078]
  本稿では,画像とテキストの摂動を設計モジュールで生成できる新しいVQAttackモデルを提案する。 5つの検証モデルを持つ2つのVQAデータセットの実験結果は、提案したVQAttackの有効性を示す。
  論文  参考訳（メタデータ） (2024-02-16T21:17:42Z)
• Fooling Contrastive Language-Image Pre-trained Models with CLIPMasterPrints [15.643898659673036]
  汎用性にも拘わらず、CLIPモデルは、マスタイメージをだますものとして、私たちが言うものに対して脆弱であることを示す。 フーリングマスターイメージは、CLIPモデルの信頼性スコアを最大化し、広範囲に変化するプロンプトのかなりの数に設定することができる。 私たちはCLIPMasterPrintsのマスターイメージが、勾配降下、投影降下、ブラックボックス最適化によってどのようにマイニングされるかを実証する。
  論文  参考訳（メタデータ） (2023-07-07T18:54:11Z)
• GAMA: Generative Adversarial Multi-Object Scene Attacks [48.33120361498787]
  本稿では,多目的シーンに対する敵攻撃に対する生成モデルを用いた最初のアプローチを提案する。 我々はこの攻撃アプローチをGAMA(Generative Adversarial Multi-Object scene Attacks)と呼ぶ。
  論文  参考訳（メタデータ） (2022-09-20T06:40:54Z)
• Dual Manifold Adversarial Robustness: Defense against Lp and non-Lp Adversarial Attacks [154.31827097264264]
  敵の訓練は、境界Lpノルムを持つ攻撃脅威モデルに対する一般的な防衛戦略である。 本稿では,2次元マニフォールド逆行訓練(DMAT)を提案する。 我々のDMATは、通常の画像の性能を改善し、Lp攻撃に対する標準的な敵の訓練と同等の堅牢性を達成する。
  論文  参考訳（メタデータ） (2020-09-05T06:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。