論文の概要: Structural Self-Teaching for Compositional Generation in Unified Multimodal Models
- arxiv url: http://arxiv.org/abs/2611.18261v1
- Date: Fri, 13 Nov 2026 14:57:14 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:30:00.268875
- Title: Structural Self-Teaching for Compositional Generation in Unified Multimodal Models
- Title(参考訳): 統一型マルチモーダルモデルにおける構成生成のための構造的自己学習
- Abstract要約: 統一型マルチモーダルモデルにおける構成画像生成を支援する構造的自己学習を提案する。
SSTは、理解経路から導かれる内部の注意マップからフレーズ条件付きサポートマスクを使用する。
SSTは、トレーニングのための外部構造アノテーションを必要とせず、テスト時に追加のインプットも必要としない。
- 参考スコア(独自算出の注目度): 44.93098428806115
- License:
- Abstract: We propose Structural Self-Teaching (SST), a novel framework that enhances compositional image generation in diffusion-based unified multimodal models (UMMs) by leveraging their internal understanding path as a source of structural supervision. The generation path of UMMs often struggles with dense compositional prompts, leading to missing objects, attribute binding failures, and spatial errors. In contrast, their understanding path localizes the same phrases in images that satisfy these prompts. SST converts this phrase-level grounding into training-time structural signals for the generation path. Specifically, we extract phrase-conditioned support masks from internal attention maps derived from the understanding path and employ them through two mechanisms. Phrase-local contrastive alignment uses these masks as pooling regions and aligns each generated phrase region with the same region of the target image. A structural scaffold builds a phrase-level layout from the same masks and modulates an intermediate spatial state of the generation path during training. The scaffold is phased out during training and removed at inference. SST requires no external structural annotations for training and no additional input at test time. Extensive experiments across multiple UMMs demonstrate that SST improves compositional fidelity over LoRA fine-tuning on the same data, with no inference-time cost. Project page is available at https://bellos1203.github.io/sst
- Abstract(参考訳): 本研究では,拡散に基づく統一マルチモーダルモデル(UMM)における構成画像生成を,構造的監督の源泉として内部理解経路を活用することによって促進する,構造的自己学習(Structure Self-Teaching, SST)を提案する。
UMMの生成経路は、しばしば密度の高い構成的プロンプトに悩まされ、オブジェクトの欠落、属性結合の失敗、空間的エラーにつながる。
対照的に、理解経路は同じフレーズをこれらのプロンプトを満たす画像にローカライズする。
SSTは、このフレーズレベルのグラウンドを生成パスのトレーニング時間構造信号に変換する。
具体的には、理解経路から抽出した内部注意マップからフレーズ条件付き支援マスクを抽出し、2つのメカニズムを用いて活用する。
フレーズローカルコントラストアライメントは、これらのマスクをプーリング領域として使用し、生成された各フレーズ領域をターゲット画像の同じ領域にアライメントする。
構造足場は、同じマスクからフレーズレベルのレイアウトを構築し、トレーニング中に生成経路の中間空間状態を変調する。
足場は訓練中に段階的に取り除かれ、推論時に取り除かれる。
SSTは、トレーニングのための外部構造アノテーションを必要とせず、テスト時に追加のインプットも必要としない。
複数のUMMにまたがる大規模な実験により、SSTは同一データ上でのLORA微調整よりも構成の忠実度を向上し、推論時間コストを伴わないことを示した。
プロジェクトページはhttps://bellos1203.github.io/sstで公開されている。
関連論文リスト
- TextLDM: Language Modeling with Continuous Latent Diffusion [89.69255520673248]
拡散変換器(DiT)は、VAEラテント空間におけるフローマッチングで訓練され、画像やビデオ間で統一された視覚生成を行う。
最小限のアーキテクチャ変更で視覚的潜伏拡散のレシピをテキスト生成に転送するTextLDMを提案する。
論文 参考訳(メタデータ) (2026-05-08T13:54:34Z) - StructDiff: A Structure-Preserving and Spatially Controllable Diffusion Model for Single-Image Generation [72.84181869780627]
StructDiffは、単一画像生成のための単一スケール拡散モデルに基づく生成フレームワークである。
3次元位置符号化(PE)を空間的先行として組み込んでおり、生成されたオブジェクトの位置、スケール、局所的な詳細を柔軟に制御することができる。
また、テキスト誘導画像生成、画像編集、アウトペインティング、ペイント・ツー・イメージ合成など、下流タスクにも幅広い適用性を示す。
論文 参考訳(メタデータ) (2026-04-14T10:55:43Z) - Seg4Diff: Unveiling Open-Vocabulary Segmentation in Text-to-Image Diffusion Transformers [56.76198904599581]
テキストと画像の拡散モデルは、言語翻訳において優れているため、モーダル間の注意機構を通じて暗黙的に概念を基礎づける。
近年のマルチモーダル拡散トランスフォーマーでは, 共用画像とテキストトークンを導入し, よりリッチでスケーラブルなクロスモーダルアライメントを実現している。
MM-DiTの注意構造を分析するための体系的フレームワークであるSeg4Diffを導入し,テキストから画像への意味情報の伝達方法に着目した。
論文 参考訳(メタデータ) (2025-09-22T17:59:54Z) - HCMA: Hierarchical Cross-model Alignment for Grounded Text-to-Image Generation [27.770224730465237]
画像生成のための階層的クロスモーダルアライメント(HCMA)フレームワークを提案する。
HCMAは2つのアライメントモジュールを各拡散サンプリングステップに統合する。
MS-COCO 2014検証セットの実験では、HCMAが最先端のベースラインを超えたことが示されている。
論文 参考訳(メタデータ) (2025-05-10T05:02:58Z) - InvSeg: Test-Time Prompt Inversion for Semantic Segmentation [33.60580908728705]
InvSegはオープン語彙セマンティックセグメンテーションに取り組むテストタイムプロンプトインバージョンメソッドである。
コントラストソフトクラスタリング(Contrastive Soft Clustering, CSC)を導入し, 導出マスクを画像の構造情報と整合させる。
InvSegはコンテキストリッチなテキストプロンプトを埋め込み空間で学習し、モダリティ間の正確なセマンティックアライメントを実現する。
論文 参考訳(メタデータ) (2024-10-15T10:20:31Z) - LAIP: Learning Local Alignment from Image-Phrase Modeling for Text-based Person Search [16.7500024682162]
本稿では、双方向アテンション重み付き局所アライメント(BidirAtt)とマスクフレーズモデリング(MPM)モジュールを備えたLAIP(Local Alignment from Image-Phrase Modeling)フレームワークを提案する。
CUHK-PEDES、ICFG-PEDES、RSTPReidデータセットで実施された実験は、既存の手法よりもLAIPフレームワークの方が優れていることを示している。
論文 参考訳(メタデータ) (2024-06-16T08:37:24Z) - LAW-Diffusion: Complex Scene Generation by Diffusion with Layouts [107.11267074981905]
LAW拡散(LAW-Diffusion)と呼ばれる意味制御可能なレイアウト・AWare拡散モデルを提案する。
LAW拡散は、特にコヒーレントな対象関係を持つ最先端の生成性能をもたらすことを示す。
論文 参考訳(メタデータ) (2023-08-13T08:06:18Z) - Person-in-Context Synthesiswith Compositional Structural Space [59.129960774988284]
本研究では,コンテキスト合成におけるtextbfPersons という新たな問題を提案する。
コンテキストは、形状情報を欠いたバウンディングボックスオブジェクトレイアウトで指定され、キーポイントによる人物のポーズは、わずかに注釈付けされている。
入力構造におけるスターク差に対処するため、各(コンテキスト/人物)入力を「共有構成構造空間」に意図的に合成する2つの別個の神経枝を提案した。
この構造空間は多レベル特徴変調戦略を用いて画像空間にデコードされ、自己学習される
論文 参考訳(メタデータ) (2020-08-28T14:33:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。