論文の概要: When Scene Text Hijacks the Scene: Uncovering, Exploiting, and Mitigating Rendered-Text Semantic Leakage in Image Generation Models

• arxiv url: http://arxiv.org/abs/2610.11286v1
• Date: Thu, 08 Oct 2026 05:50:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.818672
• Title: When Scene Text Hijacks the Scene: Uncovering, Exploiting, and Mitigating Rendered-Text Semantic Leakage in Image Generation Models
• Title（参考訳）: シーンテクストがシーンをハイジャックする:画像生成モデルにおけるレンダリングされたテキストセマンティックリークの発見、爆発、緩和
• Abstract要約: 我々は、オープンドメインテキストレンダリングにおいて、ほとんど見過ごされる現象であるレンダリングテキストセマンティックリークについて研究する。 この結果,テキストは可視データと潜時セマンティクスの二重利用担体であり,現代のIMGではテキスト中心のクロスモーダル攻撃面が露出していることがわかった。
• 参考スコア（独自算出の注目度）: 33.48275291617105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The reliability and accountability of image generative models (IGMs) are essential for building responsible and trustworthy AI systems. Recent IGMs, such as Nano Banana and GPT-Image, now support complex instruction following, realistic image synthesis, and controllable scene-text rendering. As these capabilities expand, safety analysis must also account for new control channels introduced by complex prompts. In this work, we study rendered-text semantic leakage, a largely overlooked phenomenon in open-domain text rendering. Although rendered text is intended to serve as a local visual constraint that should be reproduced verbatim in the generated image, it also carries linguistic semantics that may be interpreted by the model as part of the input instruction. This makes rendered text a potential semantic control channel whose safety implications remain insufficiently understood. We systematically characterize this phenomenon by decoupling the main visual prompt from the rendered text and measuring their individual and compositional effects on generated images. We quantify semantic leakage and rendering fidelity, and further analyze how leakage emerges from intermediate model evidence. We then show that harmful semantics embedded in scene text can persist through LLM-based prompt enhancement pipelines and steer non-text image regions, even when the main visual prompt remains benign. Finally, we propose a preliminary mitigation approach that reduces unsafe semantic transfer from rendered text to non-text regions while preserving the intended text-rendering behavior on FLUX-2-dev. Our findings reveal rendered text as a dual-use carrier of visible data and latent semantics, exposing a text-centric cross-modal attack surface in modern IGMs.
• Abstract（参考訳）: 画像生成モデル(IGM)の信頼性と説明責任は、責任と信頼できるAIシステムを構築する上で不可欠である。 最近のIGM、たとえばNano BananaやGPT-Imageは、複雑なインストラクション、リアルな画像合成、制御可能なシーンテキストレンダリングをサポートしている。 これらの能力が拡大するにつれて、安全分析は複雑なプロンプトによって導入された新しい制御チャネルも考慮しなければならない。 本研究では,オープンドメインのテキストレンダリングにおいて,ほとんど見過ごされる現象であるレンダリングテキストのセマンティックリークについて検討する。 レンダリングされたテキストは、生成された画像で冗長に再生されるべき局所的な視覚的制約として機能することを意図しているが、入力命令の一部としてモデルによって解釈されるかもしれない言語意味論も含んでいる。 これにより、レンダリングされたテキストは、安全性が十分に理解されていない潜在的なセマンティックコントロールチャネルとなる。 我々は、この現象を、レンダリングされたテキストから主視覚的プロンプトを分離し、生成した画像に対する個人的および構成的効果を測定することによって、体系的に特徴づける。 我々はセマンティックリークとレンダリングの忠実度を定量化し、中間モデル証拠から漏洩がどのように現れるかをさらに分析する。 次に、シーンテキストに埋め込まれた有害なセマンティクスは、LLMベースのプロンプト拡張パイプラインを通して持続し、メインの視覚的プロンプトが良さのままであっても、非テキスト画像領域をステアリングすることができることを示す。 最後に、FLUX-2-dev上で意図したテキストレンダリング動作を保ちながら、レンダリングされたテキストから非テキスト領域への安全でないセマンティックトランスファーを減らすための予備的緩和手法を提案する。 この結果,テキストは可視データと潜時セマンティクスの二重利用担体であり,現代のIMGではテキスト中心のクロスモーダル攻撃面が露出していることがわかった。

関連論文リスト

• TextDS: Parameter-Efficient Representation Alignment for Scene Text Detection under Distribution Shifts [17.372067847674455]
  分散シフト下でのシーンテキスト検出のための効率的なフレームワークであるTextDSを提案する。 まず,視覚基礎モデルを用いたデータ効率の良いデュアルエンコーダの設計を提案する。 第2に,段階的低ランク化を行うSWLoRA(Step-wise LoRA adaptation)を導入する。 第3に,画像劣化下での評価におけるギャップに対処するために,悪条件シーンテキスト検出データセットを構築した。
  論文  参考訳（メタデータ） (2026-06-26T13:41:31Z)
• Evaluating Reasoning Fidelity in Visual Text Generation [5.272106655533596]
  モデルが推論過程を画像として表現しなければならない視覚テキスト生成における推論忠実度を評価する。 現在のT2Iモデルは、しばしば意味的誤り、論理的不整合、誤った中間ステップを生成する。 本研究は,視覚的テキスト生成と手続き的推論の間に大きなギャップがあることを示し,より信頼性の高い視覚的テキスト推論を動機とした。
  論文  参考訳（メタデータ） (2026-06-03T05:53:58Z)
• TextGuider: Training-Free Guidance for Text Rendering via Attention Alignment [68.91073792449201]
  そこで本研究では,テキストの正確かつ完全な出現を促すトレーニング不要な方法であるTextGuiderを提案する。 具体的には,多モード拡散変換器(MM-DiT)モデルにおける注意パターンを解析し,特に画像に描画することを意図したテキスト関連トークンについて検討する。 テスト時間テキストレンダリングでは,OCR精度とCLIPスコアが大幅に向上し,高い結果が得られた。
  論文  参考訳（メタデータ） (2025-12-10T06:18:30Z)
• TeSG: Textual Semantic Guidance for Infrared and Visible Image Fusion [55.34830989105704]
  Infrared and visible image fusion (IVF) は、画像モダリティの相補的な情報を組み合わせることを目的としている。 テキスト意味論は,マスクの意味レベルとテキスト意味レベルという2つのレベルで導入する。 画像合成プロセスのガイドとなる赤外線・可視画像融合のためのテクスチュアル・セマンティック・ガイダンスを提案する。
  論文  参考訳（メタデータ） (2025-06-20T03:53:07Z)
• RepText: Rendering Visual Text via Replicating [15.476598851383919]
  本稿では,ユーザが指定したフォントの視覚的テキストを正確にレンダリングする機能を備えた,事前学習されたモノリンガルテキスト・画像生成モデルの強化を目的としたRepTextを提案する。 具体的には、ControlNetの設定を採用し、さらに言語に依存しないグリフとレンダリングされたテキストの位置を統合して、調和したビジュアルテキストを生成する。 提案手法は,既存のオープンソース手法より優れており,ネイティブな多言語クローズドソースモデルに匹敵する結果が得られる。
  論文  参考訳（メタデータ） (2025-04-28T12:19:53Z)
• SceneVTG++: Controllable Multilingual Visual Text Generation in the Wild [55.619708995575785]
  自然景観画像のテキストは、以下の4つの重要な基準を満たす必要がある。 生成されたテキストは、自然なシーンOCR(Optical Character Recognition)タスクのトレーニングを容易にする。 生成された画像は、テキスト検出やテキスト認識といったOCRタスクにおいて優れている。
  論文  参考訳（メタデータ） (2025-01-06T12:09:08Z)
• Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using Diffusion Models [63.99110667987318]
  DiffTextは、前景のテキストと背景の本質的な特徴をシームレスにブレンドするパイプラインです。 テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。
  論文  参考訳（メタデータ） (2023-11-28T06:51:28Z)
• Text to Image Generation with Semantic-Spatial Aware GAN [41.73685713621705]
  テキストから画像生成(T2I)モデルは、テキスト記述と意味的に一致するフォトリアリズム画像を生成することを目的としている。 本稿では,テキストエンコーダがより良いテキスト情報を活用できるように,エンドツーエンドで訓練された新しいフレームワークSemantic-Spatial Aware GANを提案する。
  論文  参考訳（メタデータ） (2021-04-01T15:48:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。