論文の概要: Bringing Diversity from Diffusion Models to Semantic-Guided Face Asset Generation
- arxiv url: http://arxiv.org/abs/2504.15259v1
- Date: Mon, 21 Apr 2025 17:38:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-29 15:54:29.979888
- Title: Bringing Diversity from Diffusion Models to Semantic-Guided Face Asset Generation
- Title（参考訳）: 拡散モデルからの多様性をセマンティック誘導顔アセット生成にもたらす
- Authors: Yunxuan Cai, Sitao Xiang, Zongjian Li, Haiwei Chen, Yajie Zhao,
- Abstract要約: 本研究の目的は、意味的に制御可能な生成ネットワークが、デジタル顔モデリングプロセスの制御を強化できることを実証することである。
本稿では,事前学習した拡散モデルを用いて,高品質な3次元顔データベースを作成する新しいデータ生成パイプラインを提案する。
高品質な顔アセットを作成・編集するための包括的システムを導入する。
- 参考スコア（独自算出の注目度）: 10.402456492958457
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Digital modeling and reconstruction of human faces serve various applications. However, its availability is often hindered by the requirements of data capturing devices, manual labor, and suitable actors. This situation restricts the diversity, expressiveness, and control over the resulting models. This work aims to demonstrate that a semantically controllable generative network can provide enhanced control over the digital face modeling process. To enhance diversity beyond the limited human faces scanned in a controlled setting, we introduce a novel data generation pipeline that creates a high-quality 3D face database using a pre-trained diffusion model. Our proposed normalization module converts synthesized data from the diffusion model into high-quality scanned data. Using the 44,000 face models we obtained, we further developed an efficient GAN-based generator. This generator accepts semantic attributes as input, and generates geometry and albedo. It also allows continuous post-editing of attributes in the latent space. Our asset refinement component subsequently creates physically-based facial assets. We introduce a comprehensive system designed for creating and editing high-quality face assets. Our proposed model has undergone extensive experiment, comparison and evaluation. We also integrate everything into a web-based interactive tool. We aim to make this tool publicly available with the release of the paper.
- Abstract（参考訳）: 人間の顔のデジタルモデリングと再構築は様々な用途に役立ちます。
しかし、その可用性は、データキャプチャ装置、手作業、適切なアクターの要求によって妨げられることが多い。
この状況は、結果のモデルに対する多様性、表現性、制御を制限する。
本研究の目的は、意味的に制御可能な生成ネットワークが、デジタル顔モデリングプロセスの制御を強化できることを実証することである。
制御された環境でスキャンされた限られた人間の顔を超えて多様性を高めるために,事前学習した拡散モデルを用いて高品質な3次元顔データベースを作成する新しいデータ生成パイプラインを導入する。
提案する正規化モジュールは,拡散モデルから合成データを高品質なスキャンデータに変換する。
得られた44,000の顔モデルを用いて,より効率的なGANベースジェネレータを開発した。
このジェネレータは意味的属性を入力として受け入れ、幾何学とアルベドを生成する。
また、潜在空間における属性の連続的な後編集を可能にする。
我々の資産精錬部品はその後、物理的に顔の資産を創出する。
高品質な顔アセットを作成・編集するための包括的システムを導入する。
提案手法は, 実験, 比較, 評価を行った。
全てをWebベースのインタラクティブツールに統合します。
私たちはこのツールを,論文のリリースとともに公開することを目指しています。
関連論文リスト
- Controlling Human Shape and Pose in Text-to-Image Diffusion Models via Domain Adaptation [1.3654846342364308]
本研究では、事前訓練されたテキスト・画像拡散モデルにおいて、人間の形状とポーズを条件付きで制御する手法を提案する。
これらの拡散モデルを微調整して新しい条件に適合させるには、大きなデータセットと高品質なアノテーションが必要である。
合成条件情報を分離することで画像品質を維持するドメイン適応手法を提案する。
論文 参考訳（メタデータ） (2024-11-07T14:02:41Z) - Controllable Face Synthesis with Semantic Latent Diffusion Models [6.438244172631555]
本稿では,人間の顔生成と編集のための新しい遅延拡散モデルアーキテクチャに基づくSISフレームワークを提案する。
提案システムは,SPADE正規化とクロスアテンションレイヤの両方を用いて形状とスタイル情報をマージし,人間の顔の各意味部分を正確に制御する。
論文 参考訳（メタデータ） (2024-03-19T14:02:13Z) - 3D Human Reconstruction in the Wild with Synthetic Data Using Generative Models [52.96248836582542]
本稿では,人間の画像とそれに対応する3Dメッシュアノテーションをシームレスに生成できるHumanWildという,最近の拡散モデルに基づく効果的なアプローチを提案する。
生成モデルを排他的に活用することにより,大規模な人体画像と高品質なアノテーションを生成し,実世界のデータ収集の必要性を解消する。
論文 参考訳（メタデータ） (2024-03-17T06:31:16Z) - Pushing Auto-regressive Models for 3D Shape Generation at Capacity and Scalability [118.26563926533517]
自己回帰モデルでは,格子空間における関節分布をモデル化することにより,2次元画像生成において顕著な結果が得られた。
自動回帰モデルを3次元領域に拡張し,キャパシティとスケーラビリティを同時に向上することにより,3次元形状生成の強力な能力を求める。
論文 参考訳（メタデータ） (2024-02-19T15:33:09Z) - Morphable Diffusion: 3D-Consistent Diffusion for Single-image Avatar Creation [14.064983137553353]
我々は、制御可能な光リアルな人間のアバターを作成するために、生成拡散モデルの品質と機能を高めることを目的としている。
我々は,3次元形態素モデルを最先端の多視点拡散手法に統合することで実現した。
提案するフレームワークは, 完全3次元一貫性, アニマタブル, フォトリアリスティックな人間のアバターの作成を可能にする最初の拡散モデルである。
論文 参考訳（メタデータ） (2024-01-09T18:59:04Z) - Breathing New Life into 3D Assets with Generative Repainting [74.80184575267106]
拡散ベースのテキスト・ツー・イメージ・モデルは、ビジョン・コミュニティ、アーティスト、コンテンツ・クリエーターから大きな注目を集めた。
近年の研究では、拡散モデルとニューラルネットワークの絡み合いを利用した様々なパイプラインが提案されている。
予備訓練された2次元拡散モデルと標準3次元ニューラルラジアンスフィールドのパワーを独立したスタンドアロンツールとして検討する。
我々のパイプラインはテクスチャ化されたメッシュや無テクスチャのメッシュのような、レガシなレンダリング可能な幾何学を受け入れ、2D生成の洗練と3D整合性強化ツール間の相互作用をオーケストレーションします。
論文 参考訳（メタデータ） (2023-09-15T16:34:51Z) - Generate Anything Anywhere in Any Scene [25.75076439397536]
パーソナライズされたオブジェクト生成のための制御可能なテキスト・画像拡散モデルを提案する。
本手法は,芸術,エンターテイメント,広告デザインなど,様々な応用の可能性を示すものである。
論文 参考訳（メタデータ） (2023-06-29T17:55:14Z) - 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。
このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
論文 参考訳（メタデータ） (2022-09-15T15:28:45Z) - Training and Tuning Generative Neural Radiance Fields for Attribute-Conditional 3D-Aware Face Generation [66.21121745446345]
本稿では,特定の属性ラベルを入力として統合した条件付きGNeRFモデルを提案する。
提案手法は, 事前学習した3次元顔モデルに基づいており, 条件付き正規化フローモジュールをトレーニングするためのTraining as Init and fidelity for Tuning (TRIOT) 方式を提案する。
本実験は,ビューの整合性を高めた高品質な編集を行う能力を示すとともに,本モデルの有効性を実証するものである。
論文 参考訳（メタデータ） (2022-08-26T10:05:39Z) - Multiface: A Dataset for Neural Face Rendering [108.44505415073579]
本研究では,新しいマルチビュー,高解像度のヒューマン・フェイス・データセットであるMultifaceを提案する。
顔のパフォーマンスの高解像度同期映像をキャプチャする大規模なマルチカメラ装置であるMugsyを紹介する。
Multifaceの目的は、学術コミュニティにおける高品質データへのアクセシビリティのギャップを埋め、VRテレプレゼンスの研究を可能にすることである。
論文 参考訳（メタデータ） (2022-07-22T17:55:39Z) - Methodology for Building Synthetic Datasets with Virtual Humans [1.5556923898855324]
大規模なデータセットは、ディープニューラルネットワークの改善、ターゲットトレーニングに使用することができる。
特に,100の合成IDからなるデータセットにまたがる複数の2次元画像のレンダリングに3次元形態素顔モデルを用いる。
論文 参考訳（メタデータ） (2020-06-21T10:29:36Z) - Learning Formation of Physically-Based Face Attributes [16.55993873730069]
4000個の高分解能顔スキャンを組み合わせたデータセットに基づいて,非線形形態素顔モデルを提案する。
我々のディープラーニングに基づく生成モデルは、アルベドと幾何学の相関を学習し、生成した資産の解剖学的正確性を保証する。
論文 参考訳（メタデータ） (2020-04-02T07:01:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。