論文の概要: Towards Native Generative Model for 3D Head Avatar
- arxiv url: http://arxiv.org/abs/2410.01226v1
- Date: Wed, 2 Oct 2024 04:04:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 22:18:47.041703
- Title: Towards Native Generative Model for 3D Head Avatar
- Title（参考訳）: 3次元頭部アバターのネイティブ生成モデルに向けて
- Authors: Yiyu Zhuang, Yuxiao He, Jiawei Zhang, Yanwen Wang, Jiahe Zhu, Yao Yao, Siyu Zhu, Xun Cao, Hao Zhu,
- Abstract要約: 限られた3Dヘッドデータセットから360$circ$フルヘッドのネイティブ生成モデルを学習する方法を示す。
具体的には,360ドル周の人体頭部を生成するために,様々な表現を効果的に活用する方法について検討した。
提案されたモデルとアーティストが設計したデータセットが、限られた3Dデータセットからネイティブな生成3Dヘッドモデルを学習するための将来の研究を刺激することを期待しています。
- 参考スコア（独自算出の注目度）: 20.770534728078623
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Creating 3D head avatars is a significant yet challenging task for many applicated scenarios. Previous studies have set out to learn 3D human head generative models using massive 2D image data. Although these models are highly generalizable for human appearance, their result models are not 360$^\circ$-renderable, and the predicted 3D geometry is unreliable. Therefore, such results cannot be used in VR, game modeling, and other scenarios that require 360$^\circ$-renderable 3D head models. An intuitive idea is that 3D head models with limited amount but high 3D accuracy are more reliable training data for a high-quality 3D generative model. In this vein, we delve into how to learn a native generative model for 360$^\circ$ full head from a limited 3D head dataset. Specifically, three major problems are studied: 1) how to effectively utilize various representations for generating the 360$^\circ$-renderable human head; 2) how to disentangle the appearance, shape, and motion of human faces to generate a 3D head model that can be edited by appearance and driven by motion; 3) and how to extend the generalization capability of the generative model to support downstream tasks. Comprehensive experiments are conducted to verify the effectiveness of the proposed model. We hope the proposed models and artist-designed dataset can inspire future research on learning native generative 3D head models from limited 3D datasets.
- Abstract（参考訳）: 3Dヘッドアバターを作成することは、多くの応用シナリオにおいて大きな課題である。
従来の研究では、巨大な2次元画像データを用いて、人間の頭部生成モデルを学習することを目的としていた。
これらのモデルは人間の外観に対して非常に一般化できるが、結果モデルは360$^\circ$-renderableではなく、予測された3次元幾何学は信頼できない。
したがって、このような結果は、360$^\circ$-renderable 3Dヘッドモデルを必要とするVR、ゲームモデリング、その他のシナリオでは利用できない。
直感的なアイデアは、限られた量ながら高い3D精度を持つ3Dヘッドモデルは、高品質な3D生成モデルのためのより信頼性の高いトレーニングデータであるということである。
この方法では、限られた3Dヘッドデータセットから360$^\circ$フルヘッドのネイティブ生成モデルを学習する方法を探索する。
特に3つの大きな問題が研究されている。
1)360$^\circ$-renderableの人頭を生成するために、様々な表現を効果的に活用する方法。
2 人間の顔の外観、形状、動きを乱して、外観で編集し、動きで駆動できる3次元頭部モデルを作成する方法。
3)下流タスクをサポートするために生成モデルの一般化能力を拡張する方法。
提案モデルの有効性を検証するための総合的な実験を行った。
提案されたモデルとアーティストが設計したデータセットが、限られた3Dデータセットからネイティブな生成3Dヘッドモデルを学習するための将来の研究を刺激することを期待しています。
関連論文リスト
- HeadCraft: Modeling High-Detail Shape Variations for Animated 3DMMs [9.239372828746152]
人間の頭部モデリングの最近の進歩は、神経表現による可塑性3次元頭部モデルの生成を可能にする。
本稿では,3DMM上での詳細な3次元頭部メッシュの生成モデルを提案する。
変位のUVマップを一般化するためにStyleGANモデルを訓練し、それを後にHeadCraftと呼ぶ。
論文 参考訳（メタデータ） (2023-12-21T18:57:52Z) - GaussianDreamer: Fast Generation from Text to 3D Gaussians by Bridging 2D and 3D Diffusion Models [102.22388340738536]
2Dおよび3D拡散モデルは、プロンプトに基づいて適切な3Dオブジェクトを生成することができる。
3次元拡散モデルには優れた3次元整合性があるが、トレーニング可能な3次元データは高価で入手が難しいため、その品質と一般化は制限されている。
本稿では,2種類の拡散モデルから近年の明示的かつ効率的な3次元ガウススプラッティング表現を通じて電力を橋渡ししようとする。
論文 参考訳（メタデータ） (2023-10-12T17:22:24Z) - Articulated 3D Head Avatar Generation using Text-to-Image Diffusion
Models [107.84324544272481]
多様な頭部アバターを合成する能力は、拡張現実、撮影、教育など、多くの応用に不可欠である。
テキスト誘導型3Dオブジェクト生成に関する最近の研究は、これらのニーズに対処する上で大きな可能性を秘めている。
拡散に基づく頭部アバターは,この課題に対する最先端のアプローチよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-07-10T19:15:32Z) - AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。
本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。
提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
論文 参考訳（メタデータ） (2023-05-03T17:56:24Z) - HoloDiffusion: Training a 3D Diffusion Model using 2D Images [71.1144397510333]
我々は,2次元画像のみを監督のために配置した,エンドツーエンドでトレーニング可能な新しい拡散装置を導入する。
我々の拡散モデルはスケーラブルで、頑健に訓練されており、既存の3次元生成モデルへのアプローチに対して、サンプルの品質と忠実さの点で競争力があることを示す。
論文 参考訳（メタデータ） (2023-03-29T07:35:56Z) - Head3D: Complete 3D Head Generation via Tri-plane Feature Distillation [56.267877301135634]
現在のフルヘッド生成法では、モデルをトレーニングするために多数の3Dスキャンやマルチビューイメージが必要となる。
マルチビュー画像に制限のある完全3Dヘッドを生成する手法であるHead3Dを提案する。
本モデルは,写真リアルなレンダリングと高品質な幾何表現により,コスト効率と多種多様な完全ヘッド生成を実現する。
論文 参考訳（メタデータ） (2023-03-28T11:12:26Z) - GET3D: A Generative Model of High Quality 3D Textured Shapes Learned
from Images [72.15855070133425]
本稿では,複雑なトポロジ,リッチな幾何学的ディテール,高忠実度テクスチャを備えたExplicit Textured 3Dメッシュを直接生成する生成モデルであるGET3Dを紹介する。
GET3Dは、車、椅子、動物、バイク、人間キャラクターから建物まで、高品質な3Dテクスチャメッシュを生成することができる。
論文 参考訳（メタデータ） (2022-09-22T17:16:19Z) - Building 3D Generative Models from Minimal Data [3.472931603805115]
一つの3Dテンプレート(1人1人ではなく1人1人)で顔の認識が可能であることを示す。
我々は,1つの3次元テンプレートと少数の2次元画像を用いて,3次元顔の分布の学習を可能にする,予備的な教師なし学習フレームワークにモデルを拡張した。
論文 参考訳（メタデータ） (2022-03-04T20:10:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。