論文の概要: ID-to-3D: Expressive ID-guided 3D Heads via Score Distillation Sampling
- arxiv url: http://arxiv.org/abs/2405.16570v2
- Date: Tue, 28 May 2024 09:36:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 10:59:04.133766
- Title: ID-to-3D: Expressive ID-guided 3D Heads via Score Distillation Sampling
- Title(参考訳): ID-to-3D:Score Distillation Smplingによる表現型ID誘導型3Dヘッド
- Authors: Francesca Babiloni, Alexandros Lattas, Jiankang Deng, Stefanos Zafeiriou,
- Abstract要約: ID-to-3D(ID-to-3D)は、不整合表現を用いたIDとテキスト誘導型3次元頭部を生成する方法である。
前例のないアイデンティティ一貫性と高品質なテクスチャと幾何生成を実現する。
- 参考スコア(独自算出の注目度): 96.87575334960258
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose ID-to-3D, a method to generate identity- and text-guided 3D human heads with disentangled expressions, starting from even a single casually captured in-the-wild image of a subject. The foundation of our approach is anchored in compositionality, alongside the use of task-specific 2D diffusion models as priors for optimization. First, we extend a foundational model with a lightweight expression-aware and ID-aware architecture, and create 2D priors for geometry and texture generation, via fine-tuning only 0.2% of its available training parameters. Then, we jointly leverage a neural parametric representation for the expressions of each subject and a multi-stage generation of highly detailed geometry and albedo texture. This combination of strong face identity embeddings and our neural representation enables accurate reconstruction of not only facial features but also accessories and hair and can be meshed to provide render-ready assets for gaming and telepresence. Our results achieve an unprecedented level of identity-consistent and high-quality texture and geometry generation, generalizing to a ``world'' of unseen 3D identities, without relying on large 3D captured datasets of human assets.
- Abstract(参考訳): そこで本研究では,ID-to-3Dとテキスト誘導型3次元頭部のアンタングル表現を生成する手法を提案する。
提案手法の基盤は,タスク固有の2次元拡散モデルと相まって構成性に支えられている。
まず、軽量な表現認識およびID認識アーキテクチャで基礎モデルを拡張し、利用可能なトレーニングパラメータの0.2%だけを微調整することで、幾何学とテクスチャ生成のための2D先行モデルを作成します。
次に,各被験者の表現にニューラルパラメトリック表現を併用し,高精度な幾何学とアルベドテクスチャの多段階生成を行う。
この強力な顔のアイデンティティ埋め込みと神経表現を組み合わせることで、顔の特徴だけでなく、アクセサリーや毛髪の正確な再構築が可能になり、ゲームやテレプレゼンスのためのレンダリング可能なアセットを提供することができる。
本研究は, 人的資産の大規模な3次元キャプチャーデータセットに頼ることなく, 未知の3次元アイデンティティの 'world'' に一般化し, アイデンティティ一貫性と高品質なテクスチャと幾何生成の先例のないレベルを達成した。
関連論文リスト
- FAMOUS: High-Fidelity Monocular 3D Human Digitization Using View Synthesis [51.193297565630886]
テクスチャを正確に推測することの難しさは、特に正面視画像の人物の背中のような不明瞭な領域に残る。
このテクスチャ予測の制限は、大規模で多様な3Dデータセットの不足に起因する。
本稿では,3次元デジタル化におけるテクスチャと形状予測の両立を図るために,広範囲な2次元ファッションデータセットを活用することを提案する。
論文 参考訳(メタデータ) (2024-10-13T01:25:05Z) - Portrait3D: 3D Head Generation from Single In-the-wild Portrait Image [39.658481377071034]
従来の3Dヘッド生成法はテキスト記述によって制限されており、画像ベースの手法は高品質なヘッドジオメトリを作成するのに苦労していた。
高品質な3Dヘッドを生成できる新しいフレームワークPortrait3Dを提案する。
広範にわたる実験により,高品質な3Dヘッドを高精度な形状とテクスチャで生成できることが実証された。
論文 参考訳(メタデータ) (2024-06-24T15:11:35Z) - Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。
我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
論文 参考訳(メタデータ) (2023-08-18T17:55:47Z) - Generalizable One-shot Neural Head Avatar [90.50492165284724]
本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。
本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-14T22:33:09Z) - Next3D: Generative Neural Texture Rasterization for 3D-Aware Head
Avatars [36.4402388864691]
3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。
最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。
本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
論文 参考訳(メタデータ) (2022-11-21T06:40:46Z) - Efficient Geometry-aware 3D Generative Adversarial Networks [50.68436093869381]
既存の3D GANは計算集約的であるか、3D一貫性のない近似を行う。
本研究では、3D GANの計算効率と画質をこれらの近似に頼らずに改善する。
本稿では,高解像度のマルチビュー一貫性画像だけでなく,高品質な3次元形状をリアルタイムに合成する,表現型ハイブリッド・明示型ネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-12-15T08:01:43Z) - 3DStyleNet: Creating 3D Shapes with Geometric and Texture Style
Variations [81.45521258652734]
本稿では,3次元オブジェクトの幾何学的・テクスチャ的バリエーションを多用する手法を提案する。
提案手法は,多くの新しいスタイルの形状を作成でき,その結果,無駄な3Dコンテンツ作成とスタイルウェアデータ拡張を実現している。
論文 参考訳(メタデータ) (2021-08-30T02:28:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。