Fugu-MT 論文翻訳(概要): PosterLLaVa: Constructing a Unified Multi-modal Layout Generator with LLM

論文の概要: PosterLLaVa: Constructing a Unified Multi-modal Layout Generator with LLM

arxiv url: http://arxiv.org/abs/2406.02884v3
Date: Tue, 26 Nov 2024 06:29:12 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-28 15:23:29.030974
Title: PosterLLaVa: Constructing a Unified Multi-modal Layout Generator with LLM
Title（参考訳）: PosterLLaVa:LLMによる統一マルチモーダルレイアウトジェネレータの構築
Authors: Tao Yang, Yingmin Luo, Zhongang Qi, Yang Wu, Ying Shan, Chang Wen Chen,
Abstract要約: 本研究では,グラフィックレイアウトの自動生成のための統合フレームワークを提案する。データ駆動方式では、レイアウトを生成するために構造化テキスト(JSONフォーマット)とビジュアルインストラクションチューニングを用いる。我々は,ユーザのデザイン意図に基づいて編集可能なポスターを生成する自動テキスト投稿システムを開発した。
参考スコア（独自算出の注目度）: 58.67882997399021
License:
Abstract: Layout generation is the keystone in achieving automated graphic design, requiring arranging the position and size of various multi-modal design elements in a visually pleasing and constraint-following manner. Previous approaches are either inefficient for large-scale applications or lack flexibility for varying design requirements. Our research introduces a unified framework for automated graphic layout generation, leveraging the multi-modal large language model (MLLM) to accommodate diverse design tasks. In contrast, our data-driven method employs structured text (JSON format) and visual instruction tuning to generate layouts under specific visual and textual constraints, including user-defined natural language specifications. We conducted extensive experiments and achieved state-of-the-art (SOTA) performance on public multi-modal layout generation benchmarks, demonstrating the effectiveness of our method. Moreover, recognizing existing datasets' limitations in capturing the complexity of real-world graphic designs, we propose two new datasets for much more challenging tasks (user-constrained generation and complicated poster), further validating our model's utility in real-life settings. Marking by its superior accessibility and adaptability, this approach further automates large-scale graphic design tasks. Finally, we develop an automated text-to-poster system that generates editable SVG posters based on users' design intentions, bridging the gap between layout generation and real-world graphic design applications. This system integrates our proposed layout generation method as the core component, demonstrating its effectiveness in practical scenarios. The code and datasets are open-sourced on https://github.com/posterllava/PosterLLaVA.
Abstract（参考訳）: レイアウト生成は自動グラフィックデザインを実現する上で鍵となる要素であり、視覚的に快く制約に富んだ方法で様々なマルチモーダルデザイン要素の位置とサイズをアレンジする必要がある。これまでのアプローチは、大規模アプリケーションでは非効率だったり、さまざまな設計要件に対する柔軟性に欠けていたりします。本研究は,多モード大言語モデル(MLLM)を活用し,多様な設計課題に対応するため,グラフィックレイアウトの自動生成のための統一的なフレームワークを提案する。対照的に、データ駆動方式では、構造化テキスト(JSONフォーマット)とビジュアルインストラクションチューニングを使用して、ユーザ定義の自然言語仕様を含む、特定の視覚的およびテキスト的制約の下でレイアウトを生成する。提案手法の有効性を実証し,多モードレイアウト生成ベンチマークを用いて実験を行い,SOTA(State-of-the-art)性能を実現した。さらに、実世界のグラフィックデザインの複雑さを捉える際の既存のデータセットの制限を認識し、より困難なタスク(ユーザ制約付き世代と複雑なポスター)のための2つの新しいデータセットを提案し、さらに、我々のモデルの有用性を現実の環境で検証する。より優れたアクセシビリティと適応性によって、このアプローチはさらに大規模なグラフィックデザインタスクを自動化する。最後に,ユーザのデザイン意図に基づいて編集可能なSVGポスターを生成し,レイアウト生成と実世界のグラフィックデザインアプリケーションとのギャップを埋める自動テキスト投稿システムを開発した。本システムでは,提案手法をコアコンポーネントとして統合し,実用シナリオにおける有効性を示す。コードとデータセットはhttps://github.com/posterllava/PosterLLaVAで公開されている。

関連論文リスト

GLDesigner: Leveraging Multi-Modal LLMs as Designer for Enhanced Aesthetic Text Glyph Layouts [53.568057283934714]
コンテンツ対応のテキストロゴレイアウトを生成するVLMベースのフレームワークを提案する。本稿では,複数のグリフ画像の同時処理における計算量を削減するための2つのモデル手法を提案する。アウトモデルのインストラクションチューニングを支援するために,既存の公開データセットよりも5倍大きい2つの拡張テキストロゴデータセットを構築した。
論文参考訳（メタデータ） (2024-11-18T10:04:10Z)
Automatic Layout Planning for Visually-Rich Documents with Instruction-Following Models [81.6240188672294]
グラフィックデザインでは、プロでないユーザは、限られたスキルとリソースのために視覚的に魅力的なレイアウトを作成するのに苦労することが多い。レイアウト計画のための新しいマルチモーダル・インストラクション・フォロー・フレームワークを導入し、視覚的要素をカスタマイズしたレイアウトに簡単に配置できるようにする。本手法は,非専門職の設計プロセスを単純化するだけでなく,数ショット GPT-4V モデルの性能を上回り,mIoU は Crello で 12% 向上する。
論文参考訳（メタデータ） (2024-04-23T17:58:33Z)
PosterLlama: Bridging Design Ability of Langauge Model to Contents-Aware Layout Generation [6.855409699832414]
PosterLlamaは、視覚的およびテキスト的に一貫性のあるレイアウトを生成するように設計されたネットワークである。評価の結果,PosterLlamaは,信頼性とコンテンツ対応レイアウトの生成において,既存の手法よりも優れていることがわかった。これは、非条件のレイアウト生成、要素条件のレイアウト生成、レイアウトの完了など、非常に汎用性の高いユーザー操作ツールとして機能するなど、非パラレルな範囲の条件をサポートする。
論文参考訳（メタデータ） (2024-04-01T08:46:35Z)
COLE: A Hierarchical Generation Framework for Multi-Layered and Editable Graphic Design [39.809852329070466]
本稿では,これらの課題に対処するために設計された階層型生成フレームワークであるCOLEシステムを紹介する。このCOLEシステムは、曖昧な意図のプロンプトを高品質な多層グラフィック設計に変換すると同時に、ユーザ入力に基づく柔軟な編集をサポートする。
論文参考訳（メタデータ） (2023-11-28T17:22:17Z)
Enhancing Visually-Rich Document Understanding via Layout Structure Modeling [91.07963806829237]
レイアウトの知識をモデルに注入する新しい文書理解モデルであるGraphLMを提案する。我々は、FUNSD、XFUND、CORDなど様々なベンチマークでモデルを評価し、最先端の結果を得た。
論文参考訳（メタデータ） (2023-08-15T13:53:52Z)
PosterLayout: A New Benchmark and Approach for Content-aware Visual-Textual Presentation Layout [62.12447593298437]
コンテンツ対応視覚テキスト提示レイアウトは,所定のキャンバス上の空間空間を予め定義された要素にアレンジすることを目的としている。本稿では,設計過程を模倣するためにレイアウトの要素を再編成する設計シーケンス形成(DSF)を提案する。 CNN-LSTMに基づく新しい条件生成対向ネットワーク(GAN)を提示し、適切なレイアウトを生成する。
論文参考訳（メタデータ） (2023-03-28T12:48:36Z)
LayoutDETR: Detection Transformer Is a Good Multimodal Layout Designer [80.61492265221817]
グラフィックレイアウトデザインは視覚コミュニケーションにおいて重要な役割を担っている。しかし、手作りのレイアウトデザインは、スキルを要求し、時間がかかり、バッチプロダクションではスケールできない。ジェネレーティブモデルは、設計自動化をスケーラブルにするために出現するが、デザイナの欲求に沿うデザインを作成することは、未だに容易ではない。
論文参考訳（メタデータ） (2022-12-19T21:57:35Z)
Constrained Graphic Layout Generation via Latent Optimization [17.05026043385661]
ユーザによって暗黙的に、あるいは明示的に、デザインセマンティクスを柔軟に組み込むことができるグラフィックレイアウトを生成します。提案手法はトランスフォーマーアーキテクチャに基づく生成的レイアウトモデルに基づいており,レイアウト生成を制約付き最適化問題として定式化している。実験では,1つのモデルを用いて,制約付きタスクと制約なしタスクの両方において,現実的なレイアウトを生成することができることを示す。
論文参考訳（メタデータ） (2021-08-02T13:04:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。