論文の概要: Planning and Rendering: Towards Product Poster Generation with Diffusion Models
- arxiv url: http://arxiv.org/abs/2312.08822v2
- Date: Tue, 3 Sep 2024 07:42:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-04 21:42:39.350602
- Title: Planning and Rendering: Towards Product Poster Generation with Diffusion Models
- Title（参考訳）: 計画とレンダリング:拡散モデルによる製品ポスター生成を目指して
- Authors: Zhaochen Li, Fengheng Li, Wei Feng, Honghe Zhu, Yaoyu Li, Zheng Zhang, Jingjing Lv, Junjie Shen, Zhangang Lin, Jingping Shao, Zhenglu Yang,
- Abstract要約: P&Rという拡散モデルに基づく新しい製品ポスター生成フレームワークを提案する。
計画段階では、製品やその他のビジュアルコンポーネントのレイアウトを生成するためのPlanNetを提案する。
レンダリング段階では、生成したレイアウトを考慮しつつ、製品の背景を生成するRenderNetを提案する。
提案手法は, PPG30k上での最先端の製品ポスター生成手法よりも優れていた。
- 参考スコア（独自算出の注目度）: 21.45855580640437
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Product poster generation significantly optimizes design efficiency and reduces production costs. Prevailing methods predominantly rely on image-inpainting methods to generate clean background images for given products. Subsequently, poster layout generation methods are employed to produce corresponding layout results. However, the background images may not be suitable for accommodating textual content due to their complexity, and the fixed location of products limits the diversity of layout results. To alleviate these issues, we propose a novel product poster generation framework based on diffusion models named P\&R. The P\&R draws inspiration from the workflow of designers in creating posters, which consists of two stages: Planning and Rendering. At the planning stage, we propose a PlanNet to generate the layout of the product and other visual components considering both the appearance features of the product and semantic features of the text, which improves the diversity and rationality of the layouts. At the rendering stage, we propose a RenderNet to generate the background for the product while considering the generated layout, where a spatial fusion module is introduced to fuse the layout of different visual components. To foster the advancement of this field, we propose the first product poster generation dataset PPG30k, comprising 30k exquisite product poster images along with comprehensive image and text annotations. Our method outperforms the state-of-the-art product poster generation methods on PPG30k. The PPG30k will be released soon.
- Abstract（参考訳）: 製品ポスター生成は設計効率を大幅に最適化し、生産コストを削減します。
一般的な手法は, 製品に対してクリーンな背景画像を生成するために, 画像塗布法に大きく依存する。
その後、ポスターレイアウト生成法を用いて、対応するレイアウト結果を生成する。
しかし、背景画像は、その複雑さのため、テキストコンテンツを収容するのに適さない可能性があり、製品の固定された位置は、レイアウト結果の多様性を制限する。
これらの問題を緩和するために,P\&R という拡散モデルに基づく新しい製品ポスター生成フレームワークを提案する。
P\&Rは、デザイナーがポスターを作成する際のワークフローからインスピレーションを得ている。
計画段階では,製品の外観特徴とテキストの意味的特徴の両方を考慮することで,レイアウトの多様性と合理性を向上するPlanNetを提案する。
レンダリングの段階では,異なるビジュアルコンポーネントのレイアウトを融合させる空間融合モジュールが導入された場合において,生成したレイアウトを考慮しながら製品の背景を生成するRenderNetを提案する。
この分野の進展を促進するために,30kの精巧な製品ポスターイメージと包括的な画像とテキストアノテーションからなる,最初の製品ポスター生成データセット PPG30k を提案する。
提案手法は, PPG30k上での最先端の製品ポスター生成手法よりも優れていた。
PPG30kはまもなくリリースされる予定だ。
関連論文リスト
- TextLap: Customizing Language Models for Text-to-Layout Planning [65.02105936609021]
メソッドをTextLap(テキストベースのレイアウト計画)と呼びます。
キュレートされた命令ベースのレイアウト計画データセット(InsLap)を使用して、グラフィックデザイナとしてLarge Language Model(LLM)をカスタマイズする。
我々はTextLapの有効性を実証し、画像生成やグラフィカルデザインベンチマークのためのGPT-4ベースの手法を含む強力なベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-10-09T19:51:38Z) - GlyphDraw2: Automatic Generation of Complex Glyph Posters with Diffusion Models and Large Language Models [7.5791485306093245]
LLMを利用したテキストレンダリング機能を備えた自動ポスター生成フレームワークを提案する。
このフレームワークは、詳細な背景の中で正確なポスターテキストを作成することを目的としている。
解像度が1024ピクセルを超える高解像度フォントデータセットとポスターデータセットを導入する。
論文 参考訳（メタデータ） (2024-07-02T13:17:49Z) - MaPa: Text-driven Photorealistic Material Painting for 3D Shapes [80.66880375862628]
本稿では,テキスト記述から3次元メッシュの材料を作成することを目的とする。
テクスチャマップを合成する既存の方法とは異なり、我々はセグメントワイドな手続き的な材料グラフを生成することを提案する。
我々のフレームワークは高品質なレンダリングをサポートし、編集にかなりの柔軟性を提供します。
論文 参考訳（メタデータ） (2024-04-26T17:54:38Z) - Desigen: A Pipeline for Controllable Design Template Generation [69.51563467689795]
Desigenは、背景画像と背景上のレイアウト要素を生成する自動テンプレート生成パイプラインである。
背景生成過程において,サリエンシ分布を制限し,所望領域の注意重みを低減させる2つの手法を提案する。
実験により、提案したパイプラインは人間の設計に匹敵する高品質なテンプレートを生成することが示された。
論文 参考訳（メタデータ） (2024-03-14T04:32:28Z) - AutoPoster: A Highly Automatic and Content-aware Design System for
Advertising Poster Generation [14.20790443380675]
本稿では,広告ポスター作成のための高度に自動化されたコンテンツ認識システムであるAutoPosterを紹介する。
AutoPosterはプロダクトイメージとタイトルのみを入力として、異なるサイズのポスターを4つのキーステージを通じて自動的に生成する。
76k以上のポスターに対する視覚属性アノテーションを含む最初のポスター生成データセットを提案する。
論文 参考訳（メタデータ） (2023-08-02T11:58:43Z) - ProSpect: Prompt Spectrum for Attribute-Aware Personalization of
Diffusion Models [77.03361270726944]
現在のパーソナライズ手法は、オブジェクトや概念をテキスト条件空間に反転させ、テキストから画像への拡散モデルのための新しい自然文を構成することができる。
本稿では,低周波情報から高周波画像を生成する拡散モデルのステップバイステップ生成プロセスを活用する新しい手法を提案する。
ProSpectは、画像誘導やテキスト駆動による材料、スタイル、レイアウトの操作など、パーソナライズされた属性認識画像生成アプリケーションに適用する。
論文 参考訳（メタデータ） (2023-05-25T16:32:01Z) - LayoutGPT: Compositional Visual Planning and Generation with Large
Language Models [98.81962282674151]
大規模言語モデル(LLM)は、テキスト条件からレイアウトを生成することで視覚的なプランナーとして機能する。
本稿では,スタイルシート言語におけるコンテキスト内視覚的デモンストレーションを構成する手法であるLayoutGPTを提案する。
論文 参考訳（メタデータ） (2023-05-24T17:56:16Z) - PosterLayout: A New Benchmark and Approach for Content-aware
Visual-Textual Presentation Layout [62.12447593298437]
コンテンツ対応視覚テキスト提示レイアウトは,所定のキャンバス上の空間空間を予め定義された要素にアレンジすることを目的としている。
本稿では,設計過程を模倣するためにレイアウトの要素を再編成する設計シーケンス形成(DSF)を提案する。
CNN-LSTMに基づく新しい条件生成対向ネットワーク(GAN)を提示し、適切なレイアウトを生成する。
論文 参考訳（メタデータ） (2023-03-28T12:48:36Z) - Unsupervised Domain Adaption with Pixel-level Discriminator for
Image-aware Layout Generation [24.625282719753915]
本稿では、画像コンテンツに条件付けされたGANモデルを用いて、広告ポスターのグラフィックレイアウトを生成することに焦点を当てる。
教師なしのドメイン技術と、PDA-GANと呼ばれる新しいピクセルレベルの識別器(PD)を組み合わせることで、画像の内容に応じてグラフィックレイアウトを生成する。
定量的および定性的な評価はPDA-GANが最先端の性能を達成できることを証明している。
論文 参考訳（メタデータ） (2023-03-25T06:50:22Z) - Composition-aware Graphic Layout GAN for Visual-textual Presentation
Designs [24.29890251913182]
与えられた画像に対して高品質な視覚テキスト提示設計を行う際のグラフィックレイアウト生成問題について検討する。
入力画像のグローバルおよび空間的視覚的内容に基づいてレイアウトを合成するために,合成対応グラフィックレイアウトGAN (CGL-GAN) と呼ばれる深層生成モデルを提案する。
論文 参考訳（メタデータ） (2022-04-30T16:42:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。