論文の概要: LayoutDiT: Exploring Content-Graphic Balance in Layout Generation with Diffusion Transformer
- arxiv url: http://arxiv.org/abs/2407.15233v3
- Date: Fri, 22 Nov 2024 14:07:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-26 14:15:29.512813
- Title: LayoutDiT: Exploring Content-Graphic Balance in Layout Generation with Diffusion Transformer
- Title（参考訳）: LayoutDiT:拡散変換器を用いたレイアウト生成におけるコンテンツ-グラフバランスの探索
- Authors: Yu Li, Yifan Chen, Gongye Liu, Fei Yin, Qingyan Bai, Jie Wu, Hongfa Wang, Ruihang Chu, Yujiu Yang,
- Abstract要約: 我々は、高品質で視覚的に魅力的なレイアウトを生成するために、コンテンツとグラフィック機能のバランスをとるフレームワークを導入する。
具体的には、レイアウト生成空間に対するモデルの認識を最適化する適応係数を設計する。
また、視覚領域における画像と幾何学パラメータ領域におけるレイアウトのモダリティ差を橋渡しするために、図形条件であるサリエンシ境界ボックスを導入する。
- 参考スコア（独自算出の注目度）: 46.67415676699221
- License:
- Abstract: Layout generation is a foundation task of graphic design, which requires the integration of visual aesthetics and harmonious expression of content delivery. However, existing methods still face challenges in generating precise and visually appealing layouts, including blocking, overlapping, small-sized, or spatial misalignment. We found that these methods overlook the crucial balance between learning content-aware and graphic-aware features. This oversight results in their limited ability to model the graphic structure of layouts and generate reasonable layout arrangements. To address these challenges, we introduce LayoutDiT, an effective framework that balances content and graphic features to generate high-quality, visually appealing layouts. Specifically, we first design an adaptive factor that optimizes the model's awareness of the layout generation space, balancing the model's performance in both content and graphic aspects. Secondly, we introduce a graphic condition, the saliency bounding box, to bridge the modality difference between images in the visual domain and layouts in the geometric parameter domain. In addition, we adapt a diffusion transformer model as the backbone, whose powerful generative capability ensures the quality of layout generation. Benefiting from the properties of diffusion models, our method excels in constrained settings without introducing additional constraint modules. Extensive experimental results demonstrate that our method achieves superior performance in both constrained and unconstrained settings, significantly outperforming existing methods.
- Abstract（参考訳）: レイアウト生成はグラフィックデザインの基礎的なタスクであり、視覚美学の統合とコンテンツ配信の調和した表現を必要とする。
しかし、既存の手法は、ブロック、オーバーラップ、小さなサイズ、空間的ミスアライメントを含む、正確で視覚的に魅力的なレイアウトを生成するという課題に直面している。
これらの手法は,コンテンツ認識機能とグラフィック認識機能との間の重要なバランスを見落としていることがわかった。
この監視により、レイアウトのグラフィック構造をモデル化し、合理的なレイアウト配置を生成する能力が制限される。
これらの課題に対処するために、コンテンツとグラフィック機能のバランスをとる効果的なフレームワークであるLayoutDiTを導入し、高品質で視覚的に魅力的なレイアウトを生成する。
具体的には、まず、レイアウト生成空間に対するモデルの認識を最適化し、コンテンツとグラフィックの両面においてモデルの性能のバランスをとる適応因子を設計する。
第二に、視覚領域における画像と幾何学パラメータ領域におけるレイアウトのモダリティ差を橋渡しするために、図形条件である唾液濃度境界ボックスを導入する。
さらに,分散トランスフォーマモデルをバックボーンとして適用し,その強力な生成能力によりレイアウト生成の質が保証される。
拡散モデルの性質に相応しい手法として,制約加群を導入することなく制約付き設定を最適化する手法を提案する。
その結果,本手法は制約条件と制約条件の両方において優れた性能を示し,既存手法よりも優れていた。
関連論文リスト
- ZePo: Zero-Shot Portrait Stylization with Faster Sampling [61.14140480095604]
本稿では,4つのサンプリングステップでコンテンツとスタイルの融合を実現する拡散モデルに基づく,インバージョンフリーなポートレートスタイリングフレームワークを提案する。
本稿では,一貫性機能における冗長な特徴をマージする機能統合戦略を提案し,注意制御の計算負荷を低減させる。
論文 参考訳（メタデータ） (2024-08-10T08:53:41Z) - Towards Aligned Layout Generation via Diffusion Model with Aesthetic Constraints [53.66698106829144]
広い範囲のレイアウト生成タスクを処理する統一モデルを提案する。
このモデルは連続拡散モデルに基づいている。
実験結果から,LACEは高品質なレイアウトを生成することがわかった。
論文 参考訳（メタデータ） (2024-02-07T11:12:41Z) - Layered Rendering Diffusion Model for Zero-Shot Guided Image Synthesis [60.260724486834164]
本稿では,テキストクエリに依存する拡散モデルにおける空間制御性向上のための革新的な手法を提案する。
視覚誘導(Vision Guidance)とレイヤーレンダリング拡散(Layered Rendering Diffusion)フレームワーク(Layered Diffusion)という2つの重要なイノベーションを提示します。
本稿では,ボックス・ツー・イメージ,セマンティック・マスク・ツー・イメージ,画像編集の3つの実践的応用に適用する。
論文 参考訳（メタデータ） (2023-11-30T10:36:19Z) - LayoutDiffusion: Improving Graphic Layout Generation by Discrete
Diffusion Probabilistic Models [50.73105631853759]
レイアウト自動生成のための新しい生成モデルLayoutDiffusionを提案する。
このプロセスでは,前方ステップの成長に伴うレイアウトの混乱が増している。
これにより、プラグアンドプレイ方式で2つの条件付きレイアウト生成タスクを再トレーニングすることなく実現し、既存の方法よりも優れたパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-03-21T04:41:02Z) - LayoutDETR: Detection Transformer Is a Good Multimodal Layout Designer [80.61492265221817]
グラフィックレイアウトデザインは視覚コミュニケーションにおいて重要な役割を担っている。
しかし、手作りのレイアウトデザインは、スキルを要求し、時間がかかり、バッチプロダクションではスケールできない。
ジェネレーティブモデルは、設計自動化をスケーラブルにするために出現するが、デザイナの欲求に沿うデザインを作成することは、未だに容易ではない。
論文 参考訳（メタデータ） (2022-12-19T21:57:35Z) - Geometry Aligned Variational Transformer for Image-conditioned Layout
Generation [38.747175229902396]
画像中の様々なレイアウトを自動回帰的に生成するICVT(Image-Conditioned Variational Transformer)を提案する。
まず、レイアウト要素内のコンテキスト関係をモデル化するために自己認識機構を採用し、一方、クロスアテンション機構は条件付き画像の視覚情報を融合するために使用される。
広告ポスターレイアウト設計データセットを大規模に構築し,微妙なレイアウトと鮮度マップアノテーションを付加する。
論文 参考訳（メタデータ） (2022-09-02T07:19:12Z) - Constrained Graphic Layout Generation via Latent Optimization [17.05026043385661]
ユーザによって暗黙的に、あるいは明示的に、デザインセマンティクスを柔軟に組み込むことができるグラフィックレイアウトを生成します。
提案手法はトランスフォーマーアーキテクチャに基づく生成的レイアウトモデルに基づいており,レイアウト生成を制約付き最適化問題として定式化している。
実験では,1つのモデルを用いて,制約付きタスクと制約なしタスクの両方において,現実的なレイアウトを生成することができることを示す。
論文 参考訳（メタデータ） (2021-08-02T13:04:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。