論文の概要: LayoutGPT: Compositional Visual Planning and Generation with Large Language Models

• arxiv url: http://arxiv.org/abs/2305.15393v2
• Date: Sat, 28 Oct 2023 06:56:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 21:59:59.087070
• Title: LayoutGPT: Compositional Visual Planning and Generation with Large Language Models
• Title（参考訳）: layoutgpt: 大きな言語モデルによる構成的ビジュアルプランニングと生成
• Authors: Weixi Feng, Wanrong Zhu, Tsu-jui Fu, Varun Jampani, Arjun Akula, Xuehai He, Sugato Basu, Xin Eric Wang, William Yang Wang
• Abstract要約: 大規模言語モデル(LLM)は、テキスト条件からレイアウトを生成することで視覚的なプランナーとして機能する。 本稿では,スタイルシート言語におけるコンテキスト内視覚的デモンストレーションを構成する手法であるLayoutGPTを提案する。
• 参考スコア（独自算出の注目度）: 98.81962282674151
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attaining a high degree of user controllability in visual generation often requires intricate, fine-grained inputs like layouts. However, such inputs impose a substantial burden on users when compared to simple text inputs. To address the issue, we study how Large Language Models (LLMs) can serve as visual planners by generating layouts from text conditions, and thus collaborate with visual generative models. We propose LayoutGPT, a method to compose in-context visual demonstrations in style sheet language to enhance the visual planning skills of LLMs. LayoutGPT can generate plausible layouts in multiple domains, ranging from 2D images to 3D indoor scenes. LayoutGPT also shows superior performance in converting challenging language concepts like numerical and spatial relations to layout arrangements for faithful text-to-image generation. When combined with a downstream image generation model, LayoutGPT outperforms text-to-image models/systems by 20-40% and achieves comparable performance as human users in designing visual layouts for numerical and spatial correctness. Lastly, LayoutGPT achieves comparable performance to supervised methods in 3D indoor scene synthesis, demonstrating its effectiveness and potential in multiple visual domains.
• Abstract（参考訳）: 視覚生成において高いユーザ制御性を達成するには、レイアウトのような複雑なきめ細かい入力が必要になることが多い。 しかし、このような入力は単純なテキスト入力に比べてユーザにとって大きな負担となる。 そこで本研究では,Large Language Models (LLM) がテキスト条件からレイアウトを生成することで視覚プランナとして機能し,視覚生成モデルと協調する方法について検討する。 LLMのビジュアルプランニングスキルを高めるために,スタイルシート言語でテキスト内ビジュアルデモを作成する手法であるLayoutGPTを提案する。 LayoutGPTは、2D画像から3D屋内シーンまで、複数のドメインで可塑性レイアウトを生成することができる。 LayoutGPTはまた、数値や空間関係のような困難な言語概念を忠実なテキストから画像生成のためのレイアウトアレンジメントに変換する上で、優れたパフォーマンスを示す。 下流画像生成モデルと組み合わせると、layoutgptは、テキストから画像へのモデル/システムよりも20〜40%優れ、数値的および空間的正確性のために視覚的レイアウトを設計する際に、人間ユーザーと同等の性能を達成している。 最後に、LayoutGPTは3次元屋内シーン合成における教師あり手法に匹敵する性能を達成し、複数の視覚領域におけるその有効性と可能性を示す。

関連論文リスト

• TextLap: Customizing Language Models for Text-to-Layout Planning [65.02105936609021]
  メソッドをTextLap(テキストベースのレイアウト計画)と呼びます。 キュレートされた命令ベースのレイアウト計画データセット(InsLap)を使用して、グラフィックデザイナとしてLarge Language Model(LLM)をカスタマイズする。 我々はTextLapの有効性を実証し、画像生成やグラフィカルデザインベンチマークのためのGPT-4ベースの手法を含む強力なベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-09T19:51:38Z)
• Playground v3: Improving Text-to-Image Alignment with Deep-Fusion Large Language Models [38.52953013858373]
  最新のテキスト・画像モデルであるPlayground v3(PGv3)を紹介します。 複数のテストベンチマークで最先端(SoTA)パフォーマンスを実現している。 テキストプロンプトの順守、複雑な推論、正確なテキストレンダリングが優れている。
  論文  参考訳（メタデータ） (2024-09-16T19:52:24Z)
• PosterLLaVa: Constructing a Unified Multi-modal Layout Generator with LLM [58.67882997399021]
  本研究では,グラフィックレイアウトの自動生成のための統合フレームワークを提案する。 データ駆動方式では、レイアウトを生成するために構造化テキスト(JSONフォーマット)とビジュアルインストラクションチューニングを用いる。 我々は、大規模な実験を行い、パブリックなマルチモーダルレイアウト生成ベンチマーク上で、最先端(SOTA)性能を達成した。
  論文  参考訳（メタデータ） (2024-06-05T03:05:52Z)
• Reason out Your Layout: Evoking the Layout Master from Large Language Models for Text-to-Image Synthesis [47.27044390204868]
  本稿では,レイアウト生成器としてLarge Language Models (LLM) を用いたT2I拡散モデルの改良手法を提案する。 実験により,画像の画質とレイアウト精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-11-28T14:51:13Z)
• AutoStory: Generating Diverse Storytelling Images with Minimal Human Effort [55.83007338095763]
  本稿では,多種多様で高品質で一貫したストーリーイメージを効果的に生成できる自動ストーリー可視化システムを提案する。 本研究では,大規模言語モデルの理解と計画能力をレイアウト計画に利用し,大規模テキスト・画像モデルを用いて高度なストーリー画像を生成する。
  論文  参考訳（メタデータ） (2023-11-19T06:07:37Z)
• Generating Images with Multimodal Language Models [78.6660334861137]
  本稿では,凍結したテキストのみの大規模言語モデルを,事前学習した画像エンコーダとデコーダモデルで融合する手法を提案する。 本モデルでは,画像検索,新しい画像生成,マルチモーダル対話など,多モーダルな機能群を示す。
  論文  参考訳（メタデータ） (2023-05-26T19:22:03Z)
• Towards Language-guided Interactive 3D Generation: LLMs as Layout Interpreter with Generative Feedback [20.151147653552155]
  大きな言語モデル(LLM)は、印象的な推論、会話、ゼロショット生成能力を示している。 本稿では,LLMを3次元レイアウトインタプリタとして統合した言語誘導型対話型3D生成システムLI3Dを提案する。 また,大規模言語と視覚アシスタントのLLaVAを導入し,視覚的側面から生成的なフィードバックを提供することにより,生成したコンテンツの視覚的品質を向上させる。
  論文  参考訳（メタデータ） (2023-05-25T07:43:39Z)
• Composition-aware Graphic Layout GAN for Visual-textual Presentation Designs [24.29890251913182]
  与えられた画像に対して高品質な視覚テキスト提示設計を行う際のグラフィックレイアウト生成問題について検討する。 入力画像のグローバルおよび空間的視覚的内容に基づいてレイアウトを合成するために,合成対応グラフィックレイアウトGAN (CGL-GAN) と呼ばれる深層生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-30T16:42:13Z)
• TediGAN: Text-Guided Diverse Face Image Generation and Manipulation [52.83401421019309]
  TediGANはマルチモーダル画像生成とテキスト記述による操作のためのフレームワークである。 StyleGANインバージョンモジュールは、よく訓練されたStyleGANの潜在空間に実際の画像をマッピングする。 視覚言語的類似性は、画像とテキストを共通の埋め込み空間にマッピングすることで、テキスト画像マッチングを学ぶ。 インスタンスレベルの最適化は、操作におけるID保存のためのものだ。
  論文  参考訳（メタデータ） (2020-12-06T16:20:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。