論文の概要: Controllable Human Image Generation with Personalized Multi-Garments
- arxiv url: http://arxiv.org/abs/2411.16801v1
- Date: Mon, 25 Nov 2024 12:37:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-27 13:35:32.525313
- Title: Controllable Human Image Generation with Personalized Multi-Garments
- Title（参考訳）: パーソナライズされたマルチゲージによる人体画像生成
- Authors: Yisol Choi, Sangkyung Kwak, Sihyun Yu, Hyungwon Choi, Jinwoo Shin,
- Abstract要約: BootCompは、テキストから画像への拡散モデルに基づく新しいフレームワークである。
本研究では,ヒトとマルチガーメントのペアからなる大規模な合成データセットを構築するためのデータ生成パイプラインを提案する。
ファッションドメインにおいて、異なるタイプの参照ベース生成に適応することで、フレームワークの幅広い適用性を示す。
- 参考スコア（独自算出の注目度）: 46.042383679103125
- License:
- Abstract: We present BootComp, a novel framework based on text-to-image diffusion models for controllable human image generation with multiple reference garments. Here, the main bottleneck is data acquisition for training: collecting a large-scale dataset of high-quality reference garment images per human subject is quite challenging, i.e., ideally, one needs to manually gather every single garment photograph worn by each human. To address this, we propose a data generation pipeline to construct a large synthetic dataset, consisting of human and multiple-garment pairs, by introducing a model to extract any reference garment images from each human image. To ensure data quality, we also propose a filtering strategy to remove undesirable generated data based on measuring perceptual similarities between the garment presented in human image and extracted garment. Finally, by utilizing the constructed synthetic dataset, we train a diffusion model having two parallel denoising paths that use multiple garment images as conditions to generate human images while preserving their fine-grained details. We further show the wide-applicability of our framework by adapting it to different types of reference-based generation in the fashion domain, including virtual try-on, and controllable human image generation with other conditions, e.g., pose, face, etc.
- Abstract（参考訳）: 複数の参照衣料を用いた制御可能な人体画像生成のためのテキスト・画像拡散モデルに基づく新しいフレームワークBootCompを提案する。
ここでの主なボトルネックは、トレーニングのためのデータ取得である: 人ごとの高品質な参照衣料品画像の大規模なデータセットの収集は、非常に難しい、すなわち、理想的には、各人が着るすべての衣料品写真を直接手動で収集する必要がある。
そこで本研究では,ヒトとマルチガーメントのペアからなる大規模な合成データセットを構築するためのデータ生成パイプラインを提案する。
また,画像に表示された衣服と抽出された衣服の知覚的類似性に基づいて,望ましくない生成データを除去するフィルタリング手法を提案する。
最後に,構築した合成データセットを利用して,複数の衣服イメージを条件として用いた2つの平行なdenoisingパスを持つ拡散モデルを訓練し,その微細な詳細を保存しながら,人間の画像を生成する。
さらに、仮想トライオンや、他の条件(例えば、ポーズ、顔など)で制御可能な人体画像生成など、ファッション領域における異なるタイプの参照ベース生成に適応することで、我々のフレームワークの幅広い適用性を示す。
関連論文リスト
- Controlling Human Shape and Pose in Text-to-Image Diffusion Models via Domain Adaptation [1.3654846342364308]
本研究では、事前訓練されたテキスト・画像拡散モデルにおいて、人間の形状とポーズを条件付きで制御する手法を提案する。
これらの拡散モデルを微調整して新しい条件に適合させるには、大きなデータセットと高品質なアノテーションが必要である。
合成条件情報を分離することで画像品質を維持するドメイン適応手法を提案する。
論文 参考訳（メタデータ） (2024-11-07T14:02:41Z) - From Parts to Whole: A Unified Reference Framework for Controllable Human Image Generation [19.096741614175524]
Parts2Wholeは、複数の参照画像からカスタマイズされたポートレートを生成するために設計された新しいフレームワークである。
そこで我々はまず,人間の各部分の詳細を保持する意味認識型外見エンコーダを開発した。
第2に,本フレームワークは共有自己認識機構によるマルチイメージコンディション生成をサポートする。
論文 参考訳（メタデータ） (2024-04-23T17:56:08Z) - 3D Human Reconstruction in the Wild with Synthetic Data Using Generative Models [52.96248836582542]
本稿では,人間の画像とそれに対応する3Dメッシュアノテーションをシームレスに生成できるHumanWildという,最近の拡散モデルに基づく効果的なアプローチを提案する。
生成モデルを排他的に活用することにより,大規模な人体画像と高品質なアノテーションを生成し,実世界のデータ収集の必要性を解消する。
論文 参考訳（メタデータ） (2024-03-17T06:31:16Z) - UniHuman: A Unified Model for Editing Human Images in the Wild [49.896715833075106]
実環境における画像編集の複数の側面に対処する統一モデルUniHumanを提案する。
モデルの生成品質と一般化能力を向上させるために,人間の視覚エンコーダからのガイダンスを利用する。
ユーザスタディでは、UniHumanは平均して77%のケースでユーザに好まれる。
論文 参考訳（メタデータ） (2023-12-22T05:00:30Z) - Exploring the Robustness of Human Parsers Towards Common Corruptions [99.89886010550836]
我々は,LIP-C,ATR-C,Pascal-Person-Part-Cという3つの汚職堅牢性ベンチマークを構築し,人間の解析モデルのリスク許容度を評価する。
データ強化戦略に触発されて、一般に破損した条件下で頑健性を高めるための新しい異種強化機構を提案する。
論文 参考訳（メタデータ） (2023-09-02T13:32:14Z) - HumanGAN: A Generative Model of Humans Images [78.6284090004218]
本研究では,ポーズ,局所的な身体部分の外観,衣料品スタイルを制御できる服装者の画像生成モデルを提案する。
本モデルでは,正規化されたポーズ非依存空間に部分的潜在性出現ベクトルをエンコードし,異なるポーズに誘導し,様々な姿勢で身体や衣服の外観を保っている。
論文 参考訳（メタデータ） (2021-03-11T19:00:38Z) - Pose-Guided High-Resolution Appearance Transfer via Progressive Training [65.92031716146865]
前例のない画像解像度で、所定の参照外観をターゲットポーズに転送するためのポーズ誘導型外観伝達ネットワークを提案する。
我々のネットワークは、局所的な知覚喪失や局所的な識別など、密集した局所記述子を用いて詳細を精査する。
我々のモデルは高品質な画像を生成し、人間の衣服の移動などの有用な応用にさらに活用することができる。
論文 参考訳（メタデータ） (2020-08-27T03:18:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。