論文の概要: DiffusionGPT: LLM-Driven Text-to-Image Generation System

• arxiv url: http://arxiv.org/abs/2401.10061v1
• Date: Thu, 18 Jan 2024 15:30:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 16:13:07.742357
• Title: DiffusionGPT: LLM-Driven Text-to-Image Generation System
• Title（参考訳）: DiffusionGPT:LLM駆動型テキスト画像生成システム
• Authors: Jie Qin, Jie Wu, Weifeng Chen, Yuxi Ren, Huixia Li, Hefeng Wu, Xuefeng Xiao, Rui Wang, and Shilei Wen
• Abstract要約: DiffusionGPTは、様々な種類のプロンプトをシームレスに調整し、ドメインエキスパートモデルを統合できる統一された生成システムを提供する。 LLMはプロンプトを解析し、Tree-of-Thoughtを使用して適切なモデルの選択をガイドし、入力制約を緩和する。 本稿では,Advantage Databasesを紹介し,Tree-of-Thoughtは人間のフィードバックに富み,モデル選択プロセスと人間の好みを一致させる。
• 参考スコア（独自算出の注目度）: 39.15054464137383
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have opened up new avenues for the field of image generation, resulting in the proliferation of high-quality models shared on open-source platforms. However, a major challenge persists in current text-to-image systems are often unable to handle diverse inputs, or are limited to single model results. Current unified attempts often fall into two orthogonal aspects: i) parse Diverse Prompts in input stage; ii) activate expert model to output. To combine the best of both worlds, we propose DiffusionGPT, which leverages Large Language Models (LLM) to offer a unified generation system capable of seamlessly accommodating various types of prompts and integrating domain-expert models. DiffusionGPT constructs domain-specific Trees for various generative models based on prior knowledge. When provided with an input, the LLM parses the prompt and employs the Trees-of-Thought to guide the selection of an appropriate model, thereby relaxing input constraints and ensuring exceptional performance across diverse domains. Moreover, we introduce Advantage Databases, where the Tree-of-Thought is enriched with human feedback, aligning the model selection process with human preferences. Through extensive experiments and comparisons, we demonstrate the effectiveness of DiffusionGPT, showcasing its potential for pushing the boundaries of image synthesis in diverse domains.
• Abstract（参考訳）: 拡散モデルは画像生成の分野に新しい道を開き、オープンソースプラットフォームで共有される高品質なモデルが急増した。 しかし、現在のテキスト・画像システムでは、様々な入力を扱うことができず、単一のモデル結果に制限されることが多い。 現在の統一的な試みは、しばしば2つの直交的な側面に陥る。 一 入力段階における多様なプロンプトを解析すること。 二 出力する専門家モデルを活性化すること。 両世界の長所を組み合わせるために,DiffusionGPTを提案する。これはLarge Language Models (LLM) を利用して,様々な種類のプロンプトをシームレスに調整し,ドメインエキスパートモデルを統合可能な統一生成システムを提供する。 DiffusionGPTは、事前知識に基づく様々な生成モデルのためのドメイン固有ツリーを構築する。 入力が提供されると、LLMはプロンプトを解析し、Trees-of-Thoughtを使用して適切なモデルの選択をガイドし、入力制約を緩和し、さまざまなドメインで例外的なパフォーマンスを確保する。 さらに,Advantage Databasesを導入し,Tree-of-Thoughtは人間のフィードバックに富み,モデル選択プロセスと人間の好みを一致させる。 広範にわたる実験と比較を通じて,拡散GPTの有効性を実証し,様々な領域における画像合成の境界を押し上げる可能性を示した。

関連論文リスト

• ACE: All-round Creator and Editor Following Instructions via Diffusion Transformer [40.32254040909614]
  視覚生成タスクのための全ラウンドクリエータとエディタであるACEを提案する。 まず、Long-Context Condition Unit (LCU)と呼ばれる統一条件形式を導入する。 次に,LCUを入力として使用するトランスフォーマーに基づく新しい拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-30T17:56:27Z)
• Learning Multimodal Latent Generative Models with Energy-Based Prior [3.6648642834198797]
  EBMに潜時生成モデルを統合する新しいフレームワークを提案する。 このアプローチは、より表現力があり、情報的であり、複数のモダリティにまたがる情報のより良いキャプチャをもたらす。
  論文  参考訳（メタデータ） (2024-09-30T01:38:26Z)
• Diffusion Models For Multi-Modal Generative Modeling [32.61765315067488]
  本稿では,共通拡散空間における統一多モード拡散モデルを構築することにより,拡散モデルを定義するための原理的手法を提案する。 本稿では,画像遷移,マスクイメージトレーニング,共同画像ラベル,共同画像表現生成モデリングなどのフレームワークを検証するために,複数のマルチモーダル生成設定を提案する。
  論文  参考訳（メタデータ） (2024-07-24T18:04:17Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• DomainStudio: Fine-Tuning Diffusion Models for Domain-Driven Image Generation using Limited Data [20.998032566820907]
  本稿では,大規模ソースデータセット上で事前学習したDDPMを限定データを用いて対象ドメインに適応する新しいDomainStudioアプローチを提案する。 ソースドメインが提供する主題の多様性を維持し、ターゲットドメインに高品質で多様な適応型サンプルを取得するように設計されている。
  論文  参考訳（メタデータ） (2023-06-25T07:40:39Z)
• UniDiff: Advancing Vision-Language Models with Generative and Discriminative Learning [86.91893533388628]
  本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。 UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-01T15:39:38Z)
• Generating Images with Multimodal Language Models [78.6660334861137]
  本稿では,凍結したテキストのみの大規模言語モデルを,事前学習した画像エンコーダとデコーダモデルで融合する手法を提案する。 本モデルでは,画像検索,新しい画像生成,マルチモーダル対話など,多モーダルな機能群を示す。
  論文  参考訳（メタデータ） (2023-05-26T19:22:03Z)
• Versatile Diffusion: Text, Images and Variations All in One Diffusion Model [76.89932822375208]
  Versatile Diffusionは、テキスト・ツー・イメージ、画像・ツー・テキスト、バリエーションの複数のフローを1つの統一モデルで処理する。 私たちのコードとモデルはhttps://github.com/SHI-Labs/Versatile-Diffusion.comでオープンソース化されています。
  論文  参考訳（メタデータ） (2022-11-15T17:44:05Z)
• A Survey on Generative Diffusion Model [75.93774014861978]
  拡散モデルは、深層生成モデルの新たなクラスである。 時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。 本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
  論文  参考訳（メタデータ） (2022-09-06T16:56:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。