論文の概要: From Elements to Design: A Layered Approach for Automatic Graphic Design Composition

• arxiv url: http://arxiv.org/abs/2412.19712v1
• Date: Fri, 27 Dec 2024 16:13:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:26:02.218928
• Title: From Elements to Design: A Layered Approach for Automatic Graphic Design Composition
• Title（参考訳）: 要素から設計へ: グラフィックデザインの自動構成のための階層的アプローチ
• Authors: Jiawei Lin, Shizhao Sun, Danqing Huang, Ting Liu, Ji Li, Jiang Bian,
• Abstract要約: 階層設計の原理をLMM(Large Multimodal Models)に導入する。 LaDeCoは与えられた要素セットに対してレイヤプランニングを行い、入力要素をその内容に応じて異なるセマンティックレイヤに分割する。 その後、設計構成を階層的に制御する要素属性を予測し、以前に生成されたレイヤのレンダリングイメージをコンテキストに含める。
• 参考スコア（独自算出の注目度）: 16.262338090888342
• License:
• Abstract: In this work, we investigate automatic design composition from multimodal graphic elements. Although recent studies have developed various generative models for graphic design, they usually face the following limitations: they only focus on certain subtasks and are far from achieving the design composition task; they do not consider the hierarchical information of graphic designs during the generation process. To tackle these issues, we introduce the layered design principle into Large Multimodal Models (LMMs) and propose a novel approach, called LaDeCo, to accomplish this challenging task. Specifically, LaDeCo first performs layer planning for a given element set, dividing the input elements into different semantic layers according to their contents. Based on the planning results, it subsequently predicts element attributes that control the design composition in a layer-wise manner, and includes the rendered image of previously generated layers into the context. With this insightful design, LaDeCo decomposes the difficult task into smaller manageable steps, making the generation process smoother and clearer. The experimental results demonstrate the effectiveness of LaDeCo in design composition. Furthermore, we show that LaDeCo enables some interesting applications in graphic design, such as resolution adjustment, element filling, design variation, etc. In addition, it even outperforms the specialized models in some design subtasks without any task-specific training.
• Abstract（参考訳）: 本研究では,マルチモーダルグラフィック要素からの自動設計合成について検討する。 近年の研究では、グラフィックデザインのための様々な生成モデルが開発されているが、それらは通常、特定のサブタスクのみに焦点を当て、デザイン構成タスクを達成するには程遠い、生成過程におけるグラフィックデザインの階層的な情報を考える、といった制限に直面している。 これらの課題に対処するため,我々は階層型設計原理をLMM(Large Multimodal Models)に導入し,この課題を達成するためにLaDeCoと呼ばれる新しいアプローチを提案する。 具体的には、LaDeCoはまず与えられた要素セットのレイヤプランニングを行い、入力要素をその内容に応じて異なるセマンティックレイヤに分割する。 計画結果に基づいて、設計構成を階層的に制御する要素属性を予測し、以前に生成されたレイヤのレンダリング画像をコンテキストに含める。 この洞察に富んだ設計で、LaDeCoは難しいタスクをより小さな管理可能なステップに分解し、生成プロセスをよりスムーズでクリアにする。 実験により, 設計におけるLaDeCoの有効性が示された。 さらに、LaDeCoは、解像度調整、要素充填、設計のバリエーションなど、グラフィックデザインのいくつかの興味深い応用を可能にしていることを示す。 さらに、タスク固有のトレーニングを使わずに、一部のデザインサブタスクで特別なモデルよりも優れています。

関連論文リスト

• DiffDesign: Controllable Diffusion with Meta Prior for Efficient Interior Design Generation [25.532400438564334]
  DiffDesignは、メタプリミティブを持つ制御可能な拡散モデルであり、効率的な内部設計生成を実現する。 具体的には,画像データセット上で事前学習した2次元拡散モデルの生成先行をレンダリングバックボーンとして利用する。 さらに、外観、ポーズ、サイズといったデザイン属性を横断的に制御し、視点整合性を強制する最適な転送ベースのアライメントモジュールを導入することで、デノナイジングプロセスをガイドする。
  論文  参考訳（メタデータ） (2024-11-25T11:36:34Z)
• GLDesigner: Leveraging Multi-Modal LLMs as Designer for Enhanced Aesthetic Text Glyph Layouts [53.568057283934714]
  コンテンツ対応のテキストロゴレイアウトを生成するVLMベースのフレームワークを提案する。 本稿では,複数のグリフ画像の同時処理における計算量を削減するための2つのモデル手法を提案する。 アウトモデルのインストラクションチューニングを支援するために,既存の公開データセットよりも5倍大きい2つの拡張テキストロゴデータセットを構築した。
  論文  参考訳（メタデータ） (2024-11-18T10:04:10Z)
• PosterLLaVa: Constructing a Unified Multi-modal Layout Generator with LLM [58.67882997399021]
  本研究では,グラフィックレイアウトの自動生成のための統合フレームワークを提案する。 データ駆動方式では、レイアウトを生成するために構造化テキスト(JSONフォーマット)とビジュアルインストラクションチューニングを用いる。 我々は,ユーザのデザイン意図に基づいて編集可能なポスターを生成する自動テキスト投稿システムを開発した。
  論文  参考訳（メタデータ） (2024-06-05T03:05:52Z)
• Automatic Layout Planning for Visually-Rich Documents with Instruction-Following Models [81.6240188672294]
  グラフィックデザインでは、プロでないユーザは、限られたスキルとリソースのために視覚的に魅力的なレイアウトを作成するのに苦労することが多い。 レイアウト計画のための新しいマルチモーダル・インストラクション・フォロー・フレームワークを導入し、視覚的要素をカスタマイズしたレイアウトに簡単に配置できるようにする。 本手法は,非専門職の設計プロセスを単純化するだけでなく,数ショット GPT-4V モデルの性能を上回り,mIoU は Crello で 12% 向上する。
  論文  参考訳（メタデータ） (2024-04-23T17:58:33Z)
• Graphic Design with Large Multimodal Model [38.96206668552293]
  Hierarchical Layout Generation (HLG) はより柔軟で実用的な設定であり、未順序の設計要素の集合からグラフィック合成を生成する。 HLGタスクに取り組むために,大規模なマルチモーダルモデルに基づく最初のレイアウト生成モデルであるGraphistを導入する。 グラフは、RGB-A画像を入力として利用して、HLGをシーケンス生成問題として効率的に再構成する。
  論文  参考訳（メタデータ） (2024-04-22T17:20:38Z)
• Compositional Generative Inverse Design [69.22782875567547]
  入力変数を設計して目的関数を最適化する逆設計は重要な問題である。 拡散モデルにより得られた学習エネルギー関数を最適化することにより、そのような逆例を避けることができることを示す。 N-body 相互作用タスクと2次元多面体設計タスクにおいて,実験時に学習した拡散モデルを構成することにより,初期状態と境界形状を設計できることを示す。
  論文  参考訳（メタデータ） (2024-01-24T01:33:39Z)
• COLE: A Hierarchical Generation Framework for Multi-Layered and Editable Graphic Design [39.809852329070466]
  本稿では,これらの課題に対処するために設計された階層型生成フレームワークであるCOLEシステムを紹介する。 このCOLEシステムは、曖昧な意図のプロンプトを高品質な多層グラフィック設計に変換すると同時に、ユーザ入力に基づく柔軟な編集をサポートする。
  論文  参考訳（メタデータ） (2023-11-28T17:22:17Z)
• PosterLayout: A New Benchmark and Approach for Content-aware Visual-Textual Presentation Layout [62.12447593298437]
  コンテンツ対応視覚テキスト提示レイアウトは,所定のキャンバス上の空間空間を予め定義された要素にアレンジすることを目的としている。 本稿では,設計過程を模倣するためにレイアウトの要素を再編成する設計シーケンス形成(DSF)を提案する。 CNN-LSTMに基づく新しい条件生成対向ネットワーク(GAN)を提示し、適切なレイアウトを生成する。
  論文  参考訳（メタデータ） (2023-03-28T12:48:36Z)
• PLay: Parametrically Conditioned Layout Generation using Latent Diffusion [18.130461065261354]
  本研究では,ベクトル図形空間におけるパラメトリック条件付きレイアウトを生成する条件付き潜時拡散モデルPLayを構築した。 提案手法は,FIDやFD-VGを含む3つのデータセットにおいて,従来よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-01-27T04:22:27Z)
• LayoutDETR: Detection Transformer Is a Good Multimodal Layout Designer [80.61492265221817]
  グラフィックレイアウトデザインは視覚コミュニケーションにおいて重要な役割を担っている。 しかし、手作りのレイアウトデザインは、スキルを要求し、時間がかかり、バッチプロダクションではスケールできない。 ジェネレーティブモデルは、設計自動化をスケーラブルにするために出現するが、デザイナの欲求に沿うデザインを作成することは、未だに容易ではない。
  論文  参考訳（メタデータ） (2022-12-19T21:57:35Z)
• The Layout Generation Algorithm of Graphic Design Based on Transformer-CVAE [8.052709336750823]
  本稿では,トランスフォーマーモデルと条件変分オートエンコーダ(CVAE)をグラフィックデザインレイアウト生成タスクに実装した。 これはLayoutT-CVAEと呼ばれるエンドツーエンドのグラフィックデザインレイアウト生成モデルを提案した。 既存の最先端モデルと比較して、当社が生成したレイアウトは、多くのメトリクスでより良く機能します。
  論文  参考訳（メタデータ） (2021-10-08T13:36:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。