論文の概要: Graphic Design with Large Multimodal Model

• arxiv url: http://arxiv.org/abs/2404.14368v1
• Date: Mon, 22 Apr 2024 17:20:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 13:08:10.038457
• Title: Graphic Design with Large Multimodal Model
• Title（参考訳）: 大規模マルチモーダルモデルによるグラフ設計
• Authors: Yutao Cheng, Zhao Zhang, Maoke Yang, Hui Nie, Chunyuan Li, Xinglong Wu, Jie Shao,
• Abstract要約: Hierarchical Layout Generation (HLG) はより柔軟で実用的な設定であり、未順序の設計要素の集合からグラフィック合成を生成する。 HLGタスクに取り組むために,大規模なマルチモーダルモデルに基づく最初のレイアウト生成モデルであるGraphistを導入する。 グラフは、RGB-A画像を入力として利用して、HLGをシーケンス生成問題として効率的に再構成する。
• 参考スコア（独自算出の注目度）: 38.96206668552293
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the field of graphic design, automating the integration of design elements into a cohesive multi-layered artwork not only boosts productivity but also paves the way for the democratization of graphic design. One existing practice is Graphic Layout Generation (GLG), which aims to layout sequential design elements. It has been constrained by the necessity for a predefined correct sequence of layers, thus limiting creative potential and increasing user workload. In this paper, we present Hierarchical Layout Generation (HLG) as a more flexible and pragmatic setup, which creates graphic composition from unordered sets of design elements. To tackle the HLG task, we introduce Graphist, the first layout generation model based on large multimodal models. Graphist efficiently reframes the HLG as a sequence generation problem, utilizing RGB-A images as input, outputs a JSON draft protocol, indicating the coordinates, size, and order of each element. We develop new evaluation metrics for HLG. Graphist outperforms prior arts and establishes a strong baseline for this field. Project homepage: https://github.com/graphic-design-ai/graphist
• Abstract（参考訳）: グラフィックデザインの分野では、デザイン要素を凝集性の多層アートワークに統合する自動化が生産性を向上するだけでなく、グラフィックデザインの民主化の道を開く。 既存のプラクティスのひとつにGraphic Layout Generation (GLG)がある。 事前に定義された正しいレイヤシーケンスが必要であり、それによって創造的なポテンシャルが制限され、ユーザのワークロードが増加します。 本稿では、階層レイアウト生成(HLG)をより柔軟で実用的な設定とし、未順序設計要素の集合から図形合成を生成する。 HLGタスクに取り組むために,大規模なマルチモーダルモデルに基づく最初のレイアウト生成モデルであるGraphistを導入する。 グラフは、RGB-Aイメージを入力として利用し、HLGをシーケンス生成問題として効率的に再構成し、各要素の座標、サイズ、順序を示すJSONドラフトプロトコルを出力する。 我々はHLGの新しい評価指標を開発した。 グラディストは先行芸術より優れており、この分野の強力なベースラインを確立している。 プロジェクトホームページ:https://github.com/graphic-design-ai/graphist

関連論文リスト

• Large Generative Graph Models [74.58859158271169]
  大規模グラフ生成モデル(LGGM)と呼ばれる新しいグラフ生成モデルを提案する。 事前訓練されたLGGMは、既存のグラフ生成モデルよりもゼロショット生成能力が優れている。 LGGMは、ターゲットドメインからのグラフで簡単に微調整でき、スクラッチから直接トレーニングされたグラフよりも、さらに優れたパフォーマンスを示すことができる。
  論文  参考訳（メタデータ） (2024-06-07T17:41:47Z)
• PosterLLaVa: Constructing a Unified Multi-modal Layout Generator with LLM [58.67882997399021]
  本研究では,グラフィックレイアウトの自動生成のための統合フレームワークを提案する。 データ駆動方式では、レイアウトを生成するために構造化テキスト(JSONフォーマット)とビジュアルインストラクションチューニングを用いる。 我々は、大規模な実験を行い、パブリックなマルチモーダルレイアウト生成ベンチマーク上で、最先端(SOTA)性能を達成した。
  論文  参考訳（メタデータ） (2024-06-05T03:05:52Z)
• Automatic Layout Planning for Visually-Rich Documents with Instruction-Following Models [81.6240188672294]
  グラフィックデザインでは、プロでないユーザは、限られたスキルとリソースのために視覚的に魅力的なレイアウトを作成するのに苦労することが多い。 レイアウト計画のための新しいマルチモーダル・インストラクション・フォロー・フレームワークを導入し、視覚的要素をカスタマイズしたレイアウトに簡単に配置できるようにする。 本手法は,非専門職の設計プロセスを単純化するだけでなく,数ショット GPT-4V モデルの性能を上回り,mIoU は Crello で 12% 向上する。
  論文  参考訳（メタデータ） (2024-04-23T17:58:33Z)
• COLE: A Hierarchical Generation Framework for Multi-Layered and Editable Graphic Design [39.809852329070466]
  本稿では,これらの課題に対処するために設計された階層型生成フレームワークであるCOLEシステムを紹介する。 このCOLEシステムは、曖昧な意図のプロンプトを高品質な多層グラフィック設計に変換すると同時に、ユーザ入力に基づく柔軟な編集をサポートする。
  論文  参考訳（メタデータ） (2023-11-28T17:22:17Z)
• PosterLayout: A New Benchmark and Approach for Content-aware Visual-Textual Presentation Layout [62.12447593298437]
  コンテンツ対応視覚テキスト提示レイアウトは,所定のキャンバス上の空間空間を予め定義された要素にアレンジすることを目的としている。 本稿では,設計過程を模倣するためにレイアウトの要素を再編成する設計シーケンス形成(DSF)を提案する。 CNN-LSTMに基づく新しい条件生成対向ネットワーク(GAN)を提示し、適切なレイアウトを生成する。
  論文  参考訳（メタデータ） (2023-03-28T12:48:36Z)
• LayoutDETR: Detection Transformer Is a Good Multimodal Layout Designer [80.61492265221817]
  グラフィックレイアウトデザインは視覚コミュニケーションにおいて重要な役割を担っている。 しかし、手作りのレイアウトデザインは、スキルを要求し、時間がかかり、バッチプロダクションではスケールできない。 ジェネレーティブモデルは、設計自動化をスケーラブルにするために出現するが、デザイナの欲求に沿うデザインを作成することは、未だに容易ではない。
  論文  参考訳（メタデータ） (2022-12-19T21:57:35Z)
• The Layout Generation Algorithm of Graphic Design Based on Transformer-CVAE [8.052709336750823]
  本稿では,トランスフォーマーモデルと条件変分オートエンコーダ(CVAE)をグラフィックデザインレイアウト生成タスクに実装した。 これはLayoutT-CVAEと呼ばれるエンドツーエンドのグラフィックデザインレイアウト生成モデルを提案した。 既存の最先端モデルと比較して、当社が生成したレイアウトは、多くのメトリクスでより良く機能します。
  論文  参考訳（メタデータ） (2021-10-08T13:36:02Z)
• Constrained Graphic Layout Generation via Latent Optimization [17.05026043385661]
  ユーザによって暗黙的に、あるいは明示的に、デザインセマンティクスを柔軟に組み込むことができるグラフィックレイアウトを生成します。 提案手法はトランスフォーマーアーキテクチャに基づく生成的レイアウトモデルに基づいており,レイアウト生成を制約付き最適化問題として定式化している。 実験では,1つのモデルを用いて,制約付きタスクと制約なしタスクの両方において,現実的なレイアウトを生成することができることを示す。
  論文  参考訳（メタデータ） (2021-08-02T13:04:11Z)
• GRIDS: Interactive Layout Design with Integer Programming [25.88822318048848]
  本稿では,グリッドベースのレイアウト生成のための新しい最適化手法を提案する。 我々の混合整数線形プログラミング(MILP)モデルは、厳密で効率的なグリッド生成方法を提供する。 グリッドレイアウトのインタラクティブな多様化,拡張,完成のための技術を提案する。
  論文  参考訳（メタデータ） (2020-01-09T11:08:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。