論文の概要: CollageAttack: Exploiting Cross-Modal Alignment Flaws in T2I Models through Spatial Text Composition
- arxiv url: http://arxiv.org/abs/2609.38253v1
- Date: Tue, 29 Sep 2026 08:23:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.428039
- Title: CollageAttack: Exploiting Cross-Modal Alignment Flaws in T2I Models through Spatial Text Composition
- Title（参考訳）: CollageAttack: 空間テキスト合成によるT2Iモデルにおけるクロスモーダルアライメント欠陥の爆発
- Abstract要約: テキスト・ツー・イメージ(T2I)モデルは、言語理解、画像内テキストレンダリング、ビジュアル・コンポジションにおいて大幅に改善されている。
これにより、有害なセマンティクスが連続的なプロンプトでは目立たずのままで、画像レベルの合成によって出現する、クロスモーダルな攻撃面が生成される。
コラージュアタック(ColllageAttack)は、コンテキスト関連シーン、シーンベーステキストキャリヤ、空間分散テキストフラグメントを組み合わせることで、セマンティックアセンブリをイメージプレーンにシフトする自動単発ブラックボックスジェイルブレイクである。
- 参考スコア（独自算出の注目度）: 57.28724554856427
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-to-image (T2I) models have substantially improved in language understanding, in-image text rendering, and visual composition, while their safety mechanisms do not always keep pace with these capabilities. This creates a cross-modal attack surface in which harmful semantics can remain inconspicuous in a serialized prompt yet emerge through image-level composition. We propose CollageAttack, an automated single-prompt black-box jailbreak that shifts semantic assembly into the image plane by combining context-relevant scenes, scene-grounded textual carriers, and spatially distributed text fragments. Experiments across multiple open-weight and commercial T2I models show that CollageAttack achieves attack success rates of up to 86.0%, outperforming the strongest baseline on the same model by 18.5 percentage points, while consistently producing more harmful outputs and preserving the source intent. We further find that distributed textual fragments can reconstruct the intended semantics after generation, with visual composition producing stronger communicative impact than text alone. These results reveal a cross-modal safety gap in which harmful meaning emerges from the composition of individually less explicit elements.
- Abstract（参考訳）: テキスト・ツー・イメージ(T2I)モデルは、言語理解、画像内テキストレンダリング、視覚構成において大幅に改善されているが、その安全性メカニズムは必ずしもこれらの機能に追随しているとは限らない。
これにより、有害なセマンティクスが連続的なプロンプトでは目立たずのままで、画像レベルの合成によって出現する、クロスモーダルな攻撃面が生成される。
コラージュアタック(ColllageAttack)は、コンテキスト関連シーン、シーンベーステキストキャリヤ、空間分散テキストフラグメントを組み合わせることで、セマンティックアセンブリをイメージプレーンにシフトする自動単発ブラックボックスジェイルブレイクである。
複数のオープンウェイトおよび商用T2Iモデルの実験により、コラージュアタックは最大86.0%の攻撃成功率を達成し、18.5ポイントで同じモデル上で最強のベースラインを上回り、より有害な出力を生成し、ソースの意図を保存する。
さらに、分散テキスト断片は、生成後に意図した意味を再構築でき、視覚的構成は、テキスト単独よりも強いコミュニケーション効果をもたらす。
これらの結果から,個々に明らかでない要素の組成から有害な意味が出現する相互安全ギャップが明らかとなった。
関連論文リスト
- Reading Between the Pixels: An Inscriptive Jailbreak Attack on Text-to-Image Models [31.243185346527255]
現代のテキスト・トゥ・イメージ(T2I)モデルでは、正当性のある段落長のテキストを描画できるようになった。
我々は、敵がT2Iシステムを強制して有害なテキストペイロードを含む画像を生成する、記述的ジェイルブレイクを識別し、形式化する。
敵のプロンプトを3つの機能層に分解するブラックボックス攻撃フレームワークであるEtchを提案する。
論文 参考訳（メタデータ） (2026-04-07T13:16:07Z) - TextPecker: Rewarding Structural Anomaly Quantification for Enhancing Visual Text Rendering [76.53315206999231]
TextPeckerは、プラグアンドプレイで構造的異常を知覚するRL戦略である。
ノイズの多い報酬信号を緩和し、任意のテキスト・イメージ・ジェネレータで動作する。
構造的忠実度の平均利得は4%、意味的アライメントは8.7%である。
論文 参考訳（メタデータ） (2026-02-24T13:40:23Z) - Unified Text-Image Generation with Weakness-Targeted Post-Training [57.956648078400775]
テキストと画像を共同で生成する統一マルチモーダル生成アーキテクチャは、最近、テキスト・ツー・イメージ(T2I)合成の有望な方向として登場した。
この研究は、モデルがテキスト推論から視覚合成へ自律的に遷移する、完全に統一されたテキスト画像生成を実現するためのポストトレーニングを探求する。
論文 参考訳（メタデータ） (2026-01-07T19:19:44Z) - Open-Vocabulary Segmentation with Unpaired Mask-Text Supervision [87.15580604023555]
Unpair-Segは、弱制御されたオープン語彙セグメンテーションフレームワークである。
未ペア画像マスクと画像テキストペアから学習し、独立して効率的に収集することができる。
ADE-847とPASCAL Context-459データセットで14.6%と19.5%のmIoUを達成した。
論文 参考訳（メタデータ） (2024-02-14T06:01:44Z) - Text-guided Image Restoration and Semantic Enhancement for Text-to-Image Person Retrieval [12.057465578064345]
テキスト・ツー・イメージ・パーソナリティ検索(TIPR)の目的は、与えられたテキスト記述に従って特定の人物画像を取得することである。
本稿では,人物画像と対応するテキスト間のきめ細かいインタラクションとアライメントを構築するための新しいTIPRフレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-18T08:23:46Z) - Grounded Text-to-Image Synthesis with Attention Refocusing [16.9170825951175]
拡散モデルのクロスアテンション層と自己アテンション層の潜在的な原因を明らかにする。
そこで本研究では,サンプリング中の空間配置に応じて注目マップを再焦点化するための2つの新たな損失を提案する。
提案手法は,既存手法の制御性を効果的に向上することを示す。
論文 参考訳（メタデータ） (2023-06-08T17:59:59Z) - StyleT2I: Toward Compositional and High-Fidelity Text-to-Image Synthesis [52.341186561026724]
構成性の欠如は、堅牢性と公正性に深刻な影響を及ぼす可能性がある。
テキスト対画像合成の合成性を改善するための新しいフレームワークであるStyleT2Iを導入する。
その結果,StyleT2Iは入力テキストと合成画像との整合性という点で従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2022-03-29T17:59:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。