論文の概要: Seg4Diff: Unveiling Open-Vocabulary Segmentation in Text-to-Image Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2509.18096v1
• Date: Mon, 22 Sep 2025 17:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.56302
• Title: Seg4Diff: Unveiling Open-Vocabulary Segmentation in Text-to-Image Diffusion Transformers
• Title（参考訳）: Seg4Diff: テキストと画像の拡散変換器におけるオープンボキャブラリセグメンテーションの展開
• Authors: Chaehyun Kim, Heeseong Shin, Eunbeen Hong, Heeji Yoon, Anurag Arnab, Paul Hongsuck Seo, Sunghwan Hong, Seungryong Kim,
• Abstract要約: テキストと画像の拡散モデルは、言語翻訳において優れているため、モーダル間の注意機構を通じて暗黙的に概念を基礎づける。 近年のマルチモーダル拡散トランスフォーマーでは, 共用画像とテキストトークンを導入し, よりリッチでスケーラブルなクロスモーダルアライメントを実現している。 MM-DiTの注意構造を分析するための体系的フレームワークであるSeg4Diffを導入し,テキストから画像への意味情報の伝達方法に着目した。
• 参考スコア（独自算出の注目度）: 56.76198904599581
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-image diffusion models excel at translating language prompts into photorealistic images by implicitly grounding textual concepts through their cross-modal attention mechanisms. Recent multi-modal diffusion transformers extend this by introducing joint self-attention over concatenated image and text tokens, enabling richer and more scalable cross-modal alignment. However, a detailed understanding of how and where these attention maps contribute to image generation remains limited. In this paper, we introduce Seg4Diff (Segmentation for Diffusion), a systematic framework for analyzing the attention structures of MM-DiT, with a focus on how specific layers propagate semantic information from text to image. Through comprehensive analysis, we identify a semantic grounding expert layer, a specific MM-DiT block that consistently aligns text tokens with spatially coherent image regions, naturally producing high-quality semantic segmentation masks. We further demonstrate that applying a lightweight fine-tuning scheme with mask-annotated image data enhances the semantic grouping capabilities of these layers and thereby improves both segmentation performance and generated image fidelity. Our findings demonstrate that semantic grouping is an emergent property of diffusion transformers and can be selectively amplified to advance both segmentation and generation performance, paving the way for unified models that bridge visual perception and generation.
• Abstract（参考訳）: テキスト・ツー・イメージ拡散モデルは、言語翻訳において優れたものであり、モーダル・アテンション・メカニズムを通じて暗黙的にテキストの概念を接地することで、フォトリアリスティック・イメージへと促される。 近年のマルチモーダル拡散変換器は、連結画像とテキストトークンにジョイント自己アテンションを導入し、よりリッチでスケーラブルなクロスモーダルアライメントを実現することでこれを拡張している。 しかし、これらの注目マップが画像生成にどのように貢献するかについて、詳細な理解は依然として限られている。 本稿では,MM-DiTの注意構造を分析するための体系的なフレームワークであるSeg4Diff(Segmentation for Diffusion)を紹介する。 包括的解析により,テキストトークンと空間的に整合した画像領域を整列させ,高品質なセマンティックセマンティック・セマンティック・マスクを自然に生成する,特定のMM-DiTブロックであるセマンティック・グラウンド・エキスパート・レイヤを同定する。 さらに,マスク付画像データに軽量な微調整手法を適用することにより,これらのレイヤのセマンティックグルーピング能力が向上し,セグメンテーション性能と生成画像の忠実度が向上することが実証された。 本研究は, セマンティックグルーピングが拡散変換器の創発的特性であり, セグメンテーションと生成性能の両方を向上し, 視覚知覚と生成を橋渡しする統一モデルへの道を開くことができることを示した。

関連論文リスト

• Text4Seg++: Advancing Image Segmentation via Generative Language Modeling [52.07442359419673]
  画像分割をテキスト生成問題として用いた新しいテキスト・アズ・マスクパラダイムを提案する。 鍵となる革新はセグメンテーションマスクの新しいテキスト表現であるセグメンテーション記述子である。 自然およびリモートセンシングデータセットの実験は、Text4Seg++が最先端モデルよりも一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2025-09-08T04:07:14Z)
• GS: Generative Segmentation via Label Diffusion [59.380173266566715]
  言語駆動のイメージセグメンテーションは、自然言語表現に対応する画像の領域を分割するモデルを必要とする、視覚言語理解の基本的なタスクである。 近年の拡散モデルがこの領域に導入されているが、既存のアプローチは画像中心のままである。 生成タスクとしてセグメンテーション自体を定式化する新しいフレームワークであるGS(Generative Label)を提案する。 実験の結果,GSは既存の差別的・拡散的手法を著しく上回り,言語駆動セグメンテーションのための新たな最先端技術が確立された。
  論文  参考訳（メタデータ） (2025-08-27T16:28:15Z)
• TeSG: Textual Semantic Guidance for Infrared and Visible Image Fusion [55.34830989105704]
  Infrared and visible image fusion (IVF) は、画像モダリティの相補的な情報を組み合わせることを目的としている。 テキスト意味論は,マスクの意味レベルとテキスト意味レベルという2つのレベルで導入する。 画像合成プロセスのガイドとなる赤外線・可視画像融合のためのテクスチュアル・セマンティック・ガイダンスを提案する。
  論文  参考訳（メタデータ） (2025-06-20T03:53:07Z)
• Scale-wise Bidirectional Alignment Network for Referring Remote Sensing Image Segmentation [12.893224628061516]
  リモートセンシング画像セグメンテーション(RRSIS)の目的は、自然言語表現を用いて、空中画像内の特定のピクセルレベル領域を抽出することである。 本稿では,これらの課題に対処するため,SBANet(Scale-wise Bidirectional Alignment Network)と呼ばれる革新的なフレームワークを提案する。 提案手法は,RRSIS-DとRefSegRSのデータセットにおける従来の最先端手法と比較して,優れた性能を実現する。
  論文  参考訳（メタデータ） (2025-01-01T14:24:04Z)
• InvSeg: Test-Time Prompt Inversion for Semantic Segmentation [33.60580908728705]
  InvSegはオープン語彙セマンティックセグメンテーションに取り組むテストタイムプロンプトインバージョンメソッドである。 コントラストソフトクラスタリング(Contrastive Soft Clustering, CSC)を導入し, 導出マスクを画像の構造情報と整合させる。 InvSegはコンテキストリッチなテキストプロンプトを埋め込み空間で学習し、モダリティ間の正確なセマンティックアライメントを実現する。
  論文  参考訳（メタデータ） (2024-10-15T10:20:31Z)
• MaskDiffusion: Boosting Text-to-Image Consistency with Conditional Mask [84.84034179136458]
  テキスト・イメージのミスマッチ問題に繋がる重要な要因は、モダリティ間の関係学習の不十分さである。 本稿では,注目マップと迅速な埋め込みを条件とした適応マスクを提案し,画像特徴に対する各テキストトークンの寄与度を動的に調整する。 この手法はMaskDiffusionと呼ばれ、トレーニング不要で、一般的な事前学習拡散モデルに対してホットプラグ可能である。
  論文  参考訳（メタデータ） (2023-09-08T15:53:37Z)
• Learning to Model Multimodal Semantic Alignment for Story Visualization [58.16484259508973]
  ストーリービジュアライゼーションは、複数文のストーリーで各文をナレーションする一連の画像を生成することを目的としている。 現在の作業は、その固定されたアーキテクチャと入力モダリティの多様性のため、セマンティックなミスアライメントの問題に直面している。 GANに基づく生成モデルにおいて,テキストと画像表現のセマンティックアライメントを学習し,それらのセマンティックレベルを一致させる方法について検討する。
  論文  参考訳（メタデータ） (2022-11-14T11:41:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。