論文の概要: Detailed Human-Centric Text Description-Driven Large Scene Synthesis

• arxiv url: http://arxiv.org/abs/2311.18654v1
• Date: Thu, 30 Nov 2023 16:04:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 15:55:48.359912
• Title: Detailed Human-Centric Text Description-Driven Large Scene Synthesis
• Title（参考訳）: 詳細な人文記述型大規模シーン合成
• Authors: Gwanghyun Kim, Dong Un Kang, Hoigi Seo, Hayeon Kim, Se Young Chun
• Abstract要約: DetText2Sceneはテキスト駆動による新しい大規模画像合成であり、忠実さ、制御性、自然性を備えている。 私たちのDetText2Sceneは、テキストから大規模合成において、質的かつ定量的に、先行技術よりも大幅に優れています。
• 参考スコア（独自算出の注目度）: 14.435565761166648
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Text-driven large scene image synthesis has made significant progress with diffusion models, but controlling it is challenging. While using additional spatial controls with corresponding texts has improved the controllability of large scene synthesis, it is still challenging to faithfully reflect detailed text descriptions without user-provided controls. Here, we propose DetText2Scene, a novel text-driven large-scale image synthesis with high faithfulness, controllability, and naturalness in a global context for the detailed human-centric text description. Our DetText2Scene consists of 1) hierarchical keypoint-box layout generation from the detailed description by leveraging large language model (LLM), 2) view-wise conditioned joint diffusion process to synthesize a large scene from the given detailed text with LLM-generated grounded keypoint-box layout and 3) pixel perturbation-based pyramidal interpolation to progressively refine the large scene for global coherence. Our DetText2Scene significantly outperforms prior arts in text-to-large scene synthesis qualitatively and quantitatively, demonstrating strong faithfulness with detailed descriptions, superior controllability, and excellent naturalness in a global context.
• Abstract（参考訳）: テキスト駆動大規模シーン画像合成は拡散モデルで大きな進歩を遂げているが、その制御は困難である。 対応するテキストを付加した空間制御を用いることで、大きなシーン合成の制御性が向上したが、ユーザが提供する制御なしに詳細なテキスト記述を忠実に反映することは依然として困難である。 本稿では,人間中心の詳細なテキスト記述のためのグローバルコンテキストにおける高い忠実性,制御性,自然性を備えた,新たなテキスト駆動大規模画像合成であるdettext2sceneを提案する。 私たちのDetText2Sceneは 1)大言語モデル(llm)を活用した詳細記述による階層的キーポイントボックスレイアウト生成 2)llm生成した接地キーポイントボックスレイアウトを用いた詳細なテキストから大きなシーンを合成するための視点条件付きジョイント拡散プロセス 3) 画素摂動に基づくピラミッド補間により, 大局的なコヒーレンスを実現する。 dettext2sceneは,テキスト対大規模シーン合成における先行技術よりも質的かつ定量的に優れ,詳細な記述,優れた制御性,グローバルな文脈における優れた自然性を示す。

関連論文リスト

• Beyond Flat Text: Dual Self-inherited Guidance for Visual Text Generation [17.552733309504486]
  現実のイメージでは、斜めまたは湾曲したテキスト、特に缶、バナー、バッジは、芸術的なデザインやレイアウトの制約により、平らなテキストのように頻繁に現れる。 難易度の高いシナリオで視覚テキストを正確に生成する新しいトレーニングフリーフレームワークSTGenを導入する。
  論文  参考訳（メタデータ） (2025-01-10T11:44:59Z)
• SceneVTG++: Controllable Multilingual Visual Text Generation in the Wild [55.619708995575785]
  自然景観画像のテキストは、以下の4つの重要な基準を満たす必要がある。 生成されたテキストは、自然なシーンOCR(Optical Character Recognition)タスクのトレーニングを容易にする。 生成された画像は、テキスト検出やテキスト認識といったOCRタスクにおいて優れている。
  論文  参考訳（メタデータ） (2025-01-06T12:09:08Z)
• Text2Grasp: Grasp synthesis by text prompts of object grasping parts [4.031699584957737]
  この手は、物体をつかみ、操作する人間の能力において重要な役割を担っている。 人間の意図やタスクレベルの言語を、本来のあいまいさを把握するための制御信号として利用する既存の方法。 本研究では,より精密な制御が可能なオブジェクト把握部であるText2Graspのテキストプロンプトによって導かれるグリップ合成手法を提案する。
  論文  参考訳（メタデータ） (2024-04-09T10:57:27Z)
• Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using Diffusion Models [63.99110667987318]
  DiffTextは、前景のテキストと背景の本質的な特徴をシームレスにブレンドするパイプラインです。 テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。
  論文  参考訳（メタデータ） (2023-11-28T06:51:28Z)
• LLM Blueprint: Enabling Text-to-Image Generation with Complex and Detailed Prompts [60.54912319612113]
  拡散に基づく生成モデルは、テキストと画像の生成が著しく進歩するが、長く複雑なテキストプロンプトを処理する際には困難に直面する。 本稿では,Large Language Models (LLM) を利用してテキストプロンプトから重要なコンポーネントを抽出する手法を提案する。 複数のオブジェクトを特徴とする複雑なプロンプトの評価は,ベースライン拡散モデルと比較して,リコールの大幅な改善を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:57:37Z)
• Fg-T2M: Fine-Grained Text-Driven Human Motion Generation via Diffusion Model [11.873294782380984]
  そこで本研究では,高精度なテキスト記述をサポートする高品質な条件付き人間の動作シーケンスを生成するための微細な手法を提案する。 本手法は,1) テキスト情報を完全に活用するための正確かつ完全な言語特徴を構築する言語構造支援モジュール,2) 多段階推論を実現するために,浅層および深層グラフニューラルネットワークから近隣および総合的な意味論的特徴を学習する文脈認識プログレッシブ推論モジュールの2つの主要な構成要素から構成される。
  論文  参考訳（メタデータ） (2023-09-12T14:43:47Z)
• DAE-GAN: Dynamic Aspect-aware GAN for Text-to-Image Synthesis [55.788772366325105]
  本研究では,文レベル,単語レベル,アスペクトレベルを含む複数の粒度からテキスト情報を包括的に表現する動的アスペクト・アワーン(DAE-GAN)を提案する。 人間の学習行動にインスパイアされた画像改善のためのADR(Aspect-aware Dynamic Re-drawer)を開発し,AGR(Attended Global Refinement)モジュールとALR(Aspect-aware Local Refinement)モジュールを交互に使用する。
  論文  参考訳（メタデータ） (2021-08-27T07:20:34Z)
• Person-in-Context Synthesiswith Compositional Structural Space [59.129960774988284]
  本研究では,コンテキスト合成におけるtextbfPersons という新たな問題を提案する。 コンテキストは、形状情報を欠いたバウンディングボックスオブジェクトレイアウトで指定され、キーポイントによる人物のポーズは、わずかに注釈付けされている。 入力構造におけるスターク差に対処するため、各(コンテキスト/人物)入力を「共有構成構造空間」に意図的に合成する2つの別個の神経枝を提案した。 この構造空間は多レベル特徴変調戦略を用いて画像空間にデコードされ、自己学習される
  論文  参考訳（メタデータ） (2020-08-28T14:33:28Z)
• DF-GAN: A Simple and Effective Baseline for Text-to-Image Synthesis [80.54273334640285]
  本稿では,異なる生成装置間の絡み合わずに高解像度画像を直接合成する,新しい1段階のテキスト・ツー・イメージバックボーンを提案する。 また,Matching-Aware Gradient Penalty と One-Way Output を組み合わせた新たなターゲット認識識別器を提案する。 現在の最先端手法と比較して,提案するDF-GANはよりシンプルだが,現実的およびテキストマッチング画像の合成には効率的である。
  論文  参考訳（メタデータ） (2020-08-13T12:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。