論文の概要: Planning and Rendering in Concert: DeepFusion of Autoregressive Layouts and Diffusion for Visual Text Generation

• arxiv url: http://arxiv.org/abs/2609.22916v1
• Date: Sat, 19 Sep 2026 09:49:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.586122
• Title: Planning and Rendering in Concert: DeepFusion of Autoregressive Layouts and Diffusion for Visual Text Generation
• Title（参考訳）: コンサートにおける計画とレンダリング:視覚テキスト生成のための自己回帰レイアウトと拡散のディープフュージョン
• Abstract要約: DuetGenはDeepFusion上に構築された自律的なビジュアルテキストジェネレータである。 自己回帰計画と継続的拡散レンダリングを学ぶ。 Phase-Aware Attention Modulationは、画像領域とその一致した座標と内容状態の対応を強化する。
• 参考スコア（独自算出の注目度）: 12.177428514177876
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating text-rich images from prompts requires both textual fidelity and the coherent integration of text into the surrounding image. An explicit layout can provide structured guidance about what text should appear and where, but a well-formed plan alone does not guarantee that the renderer will realize it faithfully. Existing layout-based AR-diffusion systems typically optimize planning and rendering separately, preventing the planner's representations from being adapted jointly with image synthesis. We introduce DuetGen, an autonomous visual text generator built on DeepFusion, which jointly learns autoregressive planning and continuous diffusion rendering. DeepFusion conditions a diffusion transformer on the planner's prompt and bbox-content hidden states, allowing rendering supervision to shape the representations connecting textual plans with visual outputs. Its joint objective combines autoregressive plan supervision, text-region-weighted diffusion learning, and auxiliary coordinate supervision to maintain structured planning, emphasize text-bearing regions, and improve the spatial precision of planner representations. During inference, Phase-Aware Attention Modulation strengthens the correspondence between image regions and their matched coordinate and content states, facilitating region-specific execution of the generated plan. With a 2B planner and a 4B single-stream DiT, DuetGen achieves 0.8293 word accuracy on CVTG-2K and 0.938 accuracy on LongText-Bench, closely matching the substantially larger Qwen-Image on both benchmarks. These results demonstrate the value of jointly learned planning representations and region-specific rendering for autonomous visual text generation.
• Abstract（参考訳）: プロンプトからテキストリッチな画像を生成するには、テキストの忠実さとテキストのコヒーレントな統合の両方が必要である。 明示的なレイアウトは、どのテキストがどこに表示されるべきかに関する構造化されたガイダンスを提供することができるが、十分に整った計画だけでは、レンダラーが忠実にそれを実現することを保証しない。 既存のレイアウトベースのAR拡散システムは、通常、計画とレンダリングを別々に最適化し、プランナーの表現が画像合成と併用されるのを防ぐ。 我々はDeepFusion上に構築された自律的なビジュアルテキストジェネレータであるDuetGenを紹介し、自動回帰計画と連続拡散レンダリングを共同で学習する。 DeepFusionは、プランナーのプロンプトとbbox-contentの隠された状態に拡散変換器を条件付け、描画監督がテキストプランと視覚出力を接続する表現を形作る。 その共同目的は、自己回帰計画監督、テキスト領域強調拡散学習、および補助座標監督を組み合わせることで、構造化計画の維持、テキストを含む領域の強調、プランナー表現の空間的精度の向上である。 推論中、フェーズアウェアアテンション変調は、画像領域とその一致した座標状態とコンテンツ状態との対応を強化し、生成されたプランの領域固有の実行を容易にする。 2Bプランナーと4BシングルストリームのDiTで、DuetGenはCVTG-2Kで0.8293ワードの精度、LongText-Benchで0.938ワードの精度を達成し、両者のベンチマークでかなり大きなQwen-Imageと密接に一致している。 これらの結果は、自律的な視覚テキスト生成のための共同学習された計画表現と地域固有のレンダリングの価値を示す。

関連論文リスト

• TextLDM: Language Modeling with Continuous Latent Diffusion [89.69255520673248]
  拡散変換器(DiT)は、VAEラテント空間におけるフローマッチングで訓練され、画像やビデオ間で統一された視覚生成を行う。 最小限のアーキテクチャ変更で視覚的潜伏拡散のレシピをテキスト生成に転送するTextLDMを提案する。
  論文  参考訳（メタデータ） (2026-05-08T13:54:34Z)
• Semantic-Structural Alignment for Generative Pictorial Charts [59.45629259524998]
  画像チャートの自動合成のための生成フレームワークを提案する。 2つの並列外部制御信号によって誘導される二重条件生成タスクとしてこの問題をモデル化する。 本手法は,芸術的に魅力的で構造的に整合性のある図表を生成する。
  論文  参考訳（メタデータ） (2026-05-05T05:20:46Z)
• Seg4Diff: Unveiling Open-Vocabulary Segmentation in Text-to-Image Diffusion Transformers [56.76198904599581]
  テキストと画像の拡散モデルは、言語翻訳において優れているため、モーダル間の注意機構を通じて暗黙的に概念を基礎づける。 近年のマルチモーダル拡散トランスフォーマーでは, 共用画像とテキストトークンを導入し, よりリッチでスケーラブルなクロスモーダルアライメントを実現している。 MM-DiTの注意構造を分析するための体系的フレームワークであるSeg4Diffを導入し,テキストから画像への意味情報の伝達方法に着目した。
  論文  参考訳（メタデータ） (2025-09-22T17:59:54Z)
• Beyond Flat Text: Dual Self-inherited Guidance for Visual Text Generation [17.552733309504486]
  現実のイメージでは、斜めまたは湾曲したテキスト、特に缶、バナー、バッジは、芸術的なデザインやレイアウトの制約により、平らなテキストのように頻繁に現れる。 難易度の高いシナリオで視覚テキストを正確に生成する新しいトレーニングフリーフレームワークSTGenを導入する。
  論文  参考訳（メタデータ） (2025-01-10T11:44:59Z)
• TextCenGen: Attention-Guided Text-Centric Background Adaptation for Text-to-Image Generation [21.171612603385405]
  テキストフレンドリーな画像生成のための,空白領域におけるトレーニング不要な動的バックグラウンド適応であるTextCenGenを提案する。 本手法は,テキスト領域に重なり合う矛盾するオブジェクトを識別するために,クロスアテンションマップを解析する。 本手法はプラグ・アンド・プレイであり, セマンティックな忠実さと視覚的品質の両面のバランスを保ちながら, 追加の訓練は不要である。
  論文  参考訳（メタデータ） (2024-04-18T01:10:24Z)
• LAW-Diffusion: Complex Scene Generation by Diffusion with Layouts [107.11267074981905]
  LAW拡散(LAW-Diffusion)と呼ばれる意味制御可能なレイアウト・AWare拡散モデルを提案する。 LAW拡散は、特にコヒーレントな対象関係を持つ最先端の生成性能をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-08-13T08:06:18Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Text Reading Order in Uncontrolled Conditions by Sparse Graph Segmentation [71.40119152422295]
  テキストの読み出し順序を識別するための軽量でスケーラブルで一般化可能なアプローチを提案する。 モデルは言語に依存しず、多言語データセットで効果的に実行される。 モバイルデバイスを含むあらゆるプラットフォームにデプロイできるほど小さい。
  論文  参考訳（メタデータ） (2023-05-04T06:21:00Z)
• Text to Image Generation with Semantic-Spatial Aware GAN [41.73685713621705]
  テキストから画像生成(T2I)モデルは、テキスト記述と意味的に一致するフォトリアリズム画像を生成することを目的としている。 本稿では,テキストエンコーダがより良いテキスト情報を活用できるように,エンドツーエンドで訓練された新しいフレームワークSemantic-Spatial Aware GANを提案する。
  論文  参考訳（メタデータ） (2021-04-01T15:48:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。