論文の概要: Security Risk of Misalignment between Text and Image in Multi-modal Model

• arxiv url: http://arxiv.org/abs/2510.26105v1
• Date: Thu, 30 Oct 2025 03:31:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.647512
• Title: Security Risk of Misalignment between Text and Image in Multi-modal Model
• Title（参考訳）: マルチモーダルモデルにおけるテキストと画像の相違のセキュリティリスク
• Authors: Xiaosen Wang, Zhijin Ge, Shaokang Wang,
• Abstract要約: 本稿では,任意のプロンプトと連動して入力画像を変更することで,プロンプト自体を変更することなく,生成されたコンテンツを操作するための新たな攻撃を提案する。 PReMAは、主にNSFWコンテンツを生成するために逆方向のプロンプトを生成する従来の方法と区別して、単に逆方向の画像を生成することで、モデル出力を操作する最初の攻撃である。
• 参考スコア（独自算出の注目度）: 10.368397924684063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the notable advancements and versatility of multi-modal diffusion models, such as text-to-image models, their susceptibility to adversarial inputs remains underexplored. Contrary to expectations, our investigations reveal that the alignment between textual and Image modalities in existing diffusion models is inadequate. This misalignment presents significant risks, especially in the generation of inappropriate or Not-Safe-For-Work (NSFW) content. To this end, we propose a novel attack called Prompt-Restricted Multi-modal Attack (PReMA) to manipulate the generated content by modifying the input image in conjunction with any specified prompt, without altering the prompt itself. PReMA is the first attack that manipulates model outputs by solely creating adversarial images, distinguishing itself from prior methods that primarily generate adversarial prompts to produce NSFW content. Consequently, PReMA poses a novel threat to the integrity of multi-modal diffusion models, particularly in image-editing applications that operate with fixed prompts. Comprehensive evaluations conducted on image inpainting and style transfer tasks across various models confirm the potent efficacy of PReMA.
• Abstract（参考訳）: テキスト・ツー・イメージ・モデルのようなマルチモーダル拡散モデルの顕著な進歩と汎用性にもかかわらず、その逆入力に対する感受性は未解明のままである。 予測とは対照的に,既存の拡散モデルにおけるテキストと画像の整合性は不十分である。 このミスアライメントは、特に不適切または安全でない(NSFW)コンテンツの生成において重大なリスクをもたらす。 そこで本稿では,プロンプト制限型マルチモーダル攻撃(PReMA)と呼ばれる新たな攻撃手法を提案する。 PReMAは、主にNSFWコンテンツを生成するために逆方向のプロンプトを生成する従来の方法と区別して、単に逆方向の画像を生成することで、モデル出力を操作する最初の攻撃である。 その結果、PReMAは、特に一定のプロンプトで動作する画像編集アプリケーションにおいて、マルチモーダル拡散モデルの完全性に新たな脅威をもたらす。 PReMAの有効性は,様々なモデルにまたがる画像の塗り絵やスタイルの伝達タスクにおいて総合的に評価され,その有効性が確認された。

関連論文リスト

• CoDefend: Cross-Modal Collaborative Defense via Diffusion Purification and Prompt Optimization [4.6467356929461925]
  MLLM(Multimodal Large Language Models)は、画像キャプション、視覚的質問応答、モーダル間推論といったタスクにおいて顕著な成功を収めている。 彼らのマルチモーダルな性質は敵の脅威に晒され、攻撃者はモダリティまたは共同で有害な、誤解を招く、あるいは政策に違反するアウトプットを誘導することができる。 敵の訓練や入力の浄化といった既存の防衛戦略は、顕著な制限に直面している。 本稿では,2対の逆方向のクリーンな画像データセットをファインチューン拡散モデルに活用する,教師付き拡散に基づくDenoisingフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-13T07:44:54Z)
• Image Can Bring Your Memory Back: A Novel Multi-Modal Guided Attack against Image Generation Model Unlearning [28.15997901023315]
  Recallは、未学習のIMGの堅牢性を損なうために設計された、新しい敵のフレームワークである。 逆効果、計算効率、意味的忠実性の点で、元のプロンプトで既存のベースラインを一貫して上回ります。 これらの結果は、現在の未学習メカニズムにおける重大な脆弱性を明らかにし、より堅牢なソリューションの必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-07-09T02:59:01Z)
• A Unified Framework for Stealthy Adversarial Generation via Latent Optimization and Transferability Enhancement [72.3054292908678]
  本稿では,従来の転送可能性向上戦略を画像編集による拡散モデルに基づく逆例生成にシームレスに組み込む統合フレームワークを提案する。 ACM MM25での「ディープフェイク検出者に対する第1次敵攻撃:AI生成メディア時代の挑戦」コンペで優勝した。
  論文  参考訳（メタデータ） (2025-06-30T09:59:09Z)
• Proxy-Embedding as an Adversarial Teacher: An Embedding-Guided Bidirectional Attack for Referring Expression Segmentation Models [7.064823891326925]
  Referring Expression (RES)は、自然言語記述に基づく画像の正確なオブジェクトセグメンテーションを可能にする。 その印象的な性能にもかかわらず、RESモデルの敵の例に対する堅牢性はほとんど解明されていない。 本稿では RES モデルに対する埋め込み誘導双方向攻撃 PEAT を提案する。
  論文  参考訳（メタデータ） (2025-06-19T09:14:04Z)
• MMAR: Towards Lossless Multi-Modal Auto-Regressive Probabilistic Modeling [64.09238330331195]
  本稿では,MMAR(Multi-Modal Auto-Regressive)確率モデルフレームワークを提案する。 離散化の手法とは異なり、MMARは情報損失を効率的に回避するために、連続的に評価された画像トークンを取り入れている。 また,数値安定性問題に対処する理論的に実証された手法と,タスク目標の生成と理解のバランスをとるトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-14T17:57:18Z)
• EMMA: Your Text-to-Image Diffusion Model Can Secretly Accept Multi-Modal Prompts [48.214475133206385]
  EMMAは、最先端のテキスト・トゥ・イメージ(T2I)拡散モデル ELLA 上に構築されたマルチモーダルプロンプトを受け入れる新しい画像生成モデルである。 元のT2I拡散モデルにおける全てのパラメータを凍結し、いくつかの追加層のみを調整することにより、事前学習されたT2I拡散モデルが秘かにマルチモーダルプロンプトを受け入れることができるという興味深い発見が明らかになった。
  論文  参考訳（メタデータ） (2024-06-13T14:26:43Z)
• Revisiting the Adversarial Robustness of Vision Language Models: a Multimodal Perspective [42.04728834962863]
  CLIPのような事前訓練された視覚言語モデル(VLM)は、様々な下流タスクにまたがる例外的な一般化を示している。 近年の研究では、テキストベースおよびマルチモーダル攻撃に対する防御がほとんど未調査のままであり、敵攻撃に対する脆弱性が明らかにされている。 本研究は,画像,テキスト,マルチモーダル入力を標的とした攻撃に対して,VLMの対角的堅牢性を改善するための最初の総合的研究である。
  論文  参考訳（メタデータ） (2024-04-30T06:34:21Z)
• On the Multi-modal Vulnerability of Diffusion Models [56.08923332178462]
  本稿では,MMP-Attackによる拡散モデル生成結果の操作について,特定の接尾辞を元のプロンプトに付加することで提案する。 我々のゴールは、拡散モデルを誘導し、元のオブジェクトを同時に除去しながら特定のオブジェクトを生成することである。
  論文  参考訳（メタデータ） (2024-02-02T12:39:49Z)
• Iterative Adversarial Attack on Image-guided Story Ending Generation [37.42908817585858]
  マルチモーダル学習は、画像やテキストなどの様々なソースからの情報を統合できるモデルを開発することを含む。 最近のIgSEGモデルのバックボーンであるディープニューラルネットワークは、敵のサンプルに対して脆弱である。 画像とテキストのモダリティ攻撃を融合させる反復的逆攻撃法(Iterative- attack)を提案する。
  論文  参考訳（メタデータ） (2023-05-16T06:19:03Z)
• Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models [103.61066310897928]
  最近のテキスト・ツー・イメージ生成モデルは、ターゲットのテキスト・プロンプトによって導かれる多様な創造的な画像を生成する非例外的な能力を実証している。 革命的ではあるが、現在の最先端拡散モデルは、与えられたテキストプロンプトのセマンティクスを完全に伝達するイメージの生成に失敗する可能性がある。 本研究では, 一般に公開されている安定拡散モデルを分析し, 破滅的無視の有無を評価し, そのモデルが入力プロンプトから1つ以上の被写体を生成するのに失敗した場合について検討する。 提案するジェネレーティブ・セマンティック・ナーシング(GSN)の概念は、推論時間中にハエの生殖過程に介入し、忠実性を改善するものである。
  論文  参考訳（メタデータ） (2023-01-31T18:10:38Z)
• Benchmarking Robustness of Multimodal Image-Text Models under Distribution Shift [50.64474103506595]
  本稿では,5つのタスクに対する共通の摂動下での12のオープンソース画像テキストモデルの堅牢性について検討する。 文字レベルの摂動はテキストの最も深刻な分布シフトであり、ズームボケは画像データにとって最も深刻なシフトである。
  論文  参考訳（メタデータ） (2022-12-15T18:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。