論文の概要: HumanDiffusion: a Coarse-to-Fine Alignment Diffusion Framework for Controllable Text-Driven Person Image Generation

• arxiv url: http://arxiv.org/abs/2211.06235v1
• Date: Fri, 11 Nov 2022 14:30:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 16:30:39.961852
• Title: HumanDiffusion: a Coarse-to-Fine Alignment Diffusion Framework for Controllable Text-Driven Person Image Generation
• Title（参考訳）: Human Diffusion: テキスト駆動型画像生成のための粗調整拡散フレームワーク
• Authors: Kaiduo Zhang, Muyi Sun, Jianxin Sun, Binghao Zhao, Kunbo Zhang, Zhenan Sun, Tieniu Tan
• Abstract要約: 制御可能な人物画像生成は、デジタルヒューマンインタラクションや仮想トライオンといった幅広い応用を促進する。 テキスト駆動型人物画像生成のための粗大なアライメント拡散フレームワークHumanDiffusionを提案する。
• 参考スコア（独自算出の注目度）: 73.3790833537313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-driven person image generation is an emerging and challenging task in cross-modality image generation. Controllable person image generation promotes a wide range of applications such as digital human interaction and virtual try-on. However, previous methods mostly employ single-modality information as the prior condition (e.g. pose-guided person image generation), or utilize the preset words for text-driven human synthesis. Introducing a sentence composed of free words with an editable semantic pose map to describe person appearance is a more user-friendly way. In this paper, we propose HumanDiffusion, a coarse-to-fine alignment diffusion framework, for text-driven person image generation. Specifically, two collaborative modules are proposed, the Stylized Memory Retrieval (SMR) module for fine-grained feature distillation in data processing and the Multi-scale Cross-modality Alignment (MCA) module for coarse-to-fine feature alignment in diffusion. These two modules guarantee the alignment quality of the text and image, from image-level to feature-level, from low-resolution to high-resolution. As a result, HumanDiffusion realizes open-vocabulary person image generation with desired semantic poses. Extensive experiments conducted on DeepFashion demonstrate the superiority of our method compared with previous approaches. Moreover, better results could be obtained for complicated person images with various details and uncommon poses.
• Abstract（参考訳）: テキスト駆動の人物画像生成は、相互モダリティ画像生成において新しく挑戦的なタスクである。 制御可能な人物画像生成は、デジタルヒューマンインタラクションや仮想トライオンといった幅広い応用を促進する。 しかし、従来の方法は、主に先行条件(ポーズ誘導人物画像生成など)として単一のモダリティ情報を用いるか、テキスト駆動人間の合成に予め設定された単語を利用する。 自由語からなる文を編集可能なセマンティックポーズマップで導入し、人物の外観を記述することは、よりユーザフレンドリーな方法である。 本稿では,テキスト駆動型人物画像生成のための粗大なアライメント拡散フレームワークHumanDiffusionを提案する。 具体的には、データ処理における微細な特徴蒸留のためのStylized Memory Retrieval (SMR)モジュールと、拡散における粗い特徴アライメントのためのMulti-scale Cross-modality Alignment (MCA)モジュールである。 これら2つのモジュールは、画像レベルから特徴レベルまで、低解像度から高解像度まで、テキストと画像のアライメント品質を保証する。 その結果、HumanDiffusionは所望のセマンティックポーズを持つオープン語彙の人物画像生成を実現する。 DeepFashionで行った大規模な実験は、従来の手法と比較して、我々の手法の優位性を示している。 さらに、様々な細部と珍しいポーズを持つ複雑な人物画像に対して、より良い結果が得られる。

関連論文リスト

• Coarse-to-Fine Latent Diffusion for Pose-Guided Person Image Synthesis [65.7968515029306]
  PGPIS(Pose-Guided Person Image Synthesis)のためのCFLD(Coarse-to-Fine Latent Diffusion)法を提案する。 認識修正デコーダは、学習可能なクエリの集合を段階的に洗練し、粗いプロンプトとして人物画像の意味的理解を抽出するように設計されている。
  論文  参考訳（メタデータ） (2024-02-28T06:07:07Z)
• Instruct-Imagen: Image Generation with Multi-modal Instruction [90.04481955523514]
  Instruct-imagenは、不均一な画像生成タスクに取り組み、目に見えないタスクを一般化するモデルである。 画像生成のための*multi-modal instruction*を導入する。 画像生成データセットの人間による評価では、インストラクション・イメージはドメイン内の以前のタスク固有のモデルと一致するか、超えている。
  論文  参考訳（メタデータ） (2024-01-03T19:31:58Z)
• UDiffText: A Unified Framework for High-quality Text Synthesis in Arbitrary Images via Character-aware Diffusion Models [25.219960711604728]
  本稿では,事前学習した拡散モデルを用いたテキスト画像生成手法を提案する。 我々のアプローチは、オリジナルのCLIPエンコーダを置き換える軽量文字レベルテキストエンコーダの設計と訓練である。 推論段階の精細化プロセスを用いることで、任意に与えられた画像のテキストを合成する際に、顕著に高いシーケンス精度を実現する。
  論文  参考訳（メタデータ） (2023-12-08T07:47:46Z)
• Paste, Inpaint and Harmonize via Denoising: Subject-Driven Image Editing with Pre-Trained Diffusion Model [22.975965453227477]
  textitPaste, Inpaint, Harmonize と呼ばれる新しいフレームワークをDenoising (PhD) を通じて導入する。 本実験では,主観的画像編集作業にPhDを適用し,参照対象のテキスト駆動シーン生成を探索する。
  論文  参考訳（メタデータ） (2023-06-13T07:43:10Z)
• Unified Multi-Modal Latent Diffusion for Joint Subject and Text Conditional Image Generation [63.061871048769596]
  本稿では, 特定対象を含む画像と共同テキストを入力シーケンスとして用いた, Unified Multi-Modal Latent Diffusion (UMM-Diffusion) を提案する。 より具体的には、入力テキストと画像の両方を1つの統一マルチモーダル潜在空間に符号化する。 入力テキストと画像の両面から複雑な意味を持つ高品質な画像を生成することができる。
  論文  参考訳（メタデータ） (2023-03-16T13:50:20Z)
• eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers [87.52504764677226]
  大規模拡散に基づく生成モデルは、テキスト条件の高解像度画像合成においてブレークスルーをもたらした。 異なる段階合成に特化したテキスト・画像拡散モデルのアンサンブルを訓練する。 eDiffiと呼ばれる拡散モデルのアンサンブルは、同じ推論コストを維持しながらテキストアライメントを改善する。
  論文  参考訳（メタデータ） (2022-11-02T17:43:04Z)
• Towards Open-World Text-Guided Face Image Generation and Manipulation [52.83401421019309]
  顔画像生成と操作の両方に統一的なフレームワークを提案する。 本手法は,画像とテキストの両方を含むオープンワールドシナリオをサポートし,再トレーニングや微調整,後処理は行わない。
  論文  参考訳（メタデータ） (2021-04-18T16:56:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。