論文の概要: HeadArtist: Text-conditioned 3D Head Generation with Self Score Distillation
- arxiv url: http://arxiv.org/abs/2312.07539v2
- Date: Wed, 8 May 2024 13:29:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-09 19:00:52.735573
- Title: HeadArtist: Text-conditioned 3D Head Generation with Self Score Distillation
- Title(参考訳): HeadArtist: セルフスコア蒸留によるテキスト調和型3Dヘッドジェネレーション
- Authors: Hongyu Liu, Xuan Wang, Ziyu Wan, Yujun Shen, Yibing Song, Jing Liao, Qifeng Chen,
- Abstract要約: 本研究は,テキスト記述から3次元ヘッド生成のためのHeadArtistを提案する。
従来の蒸留の監督の下でパラメータ化された3次元ヘッドモデルを最適化する効率的なパイプラインを考案した。
実験結果から,本手法は適切な形状とフォトリアリスティックな外観を持つ高品質な3次元頭部彫刻を実現することが示唆された。
- 参考スコア(独自算出の注目度): 95.58892028614444
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work presents HeadArtist for 3D head generation from text descriptions. With a landmark-guided ControlNet serving as the generative prior, we come up with an efficient pipeline that optimizes a parameterized 3D head model under the supervision of the prior distillation itself. We call such a process self score distillation (SSD). In detail, given a sampled camera pose, we first render an image and its corresponding landmarks from the head model, and add some particular level of noise onto the image. The noisy image, landmarks, and text condition are then fed into the frozen ControlNet twice for noise prediction. Two different classifier-free guidance (CFG) weights are applied during these two predictions, and the prediction difference offers a direction on how the rendered image can better match the text of interest. Experimental results suggest that our approach delivers high-quality 3D head sculptures with adequate geometry and photorealistic appearance, significantly outperforming state-ofthe-art methods. We also show that the same pipeline well supports editing the generated heads, including both geometry deformation and appearance change.
- Abstract(参考訳): 本研究は,テキスト記述から3次元ヘッド生成のためのHeadArtistを提案する。
先行蒸留自体の監督の下でパラメータ化された3Dヘッドモデルを最適化する,効率的なパイプラインを考案した。
このようなプロセスを自己スコア蒸留(SSD)と呼ぶ。
詳しくは、サンプルカメラのポーズを考慮すれば、まず画像とその対応するランドマークをヘッドモデルからレンダリングし、特定のレベルのノイズを画像に追加する。
ノイズの多い画像、ランドマーク、テキスト条件は、ノイズ予測のために凍ったコントロールネットに2回入力される。
これら2つの予測の間に2つの異なる分類器フリーガイダンス(CFG)の重みが適用され、予測差は、レンダリングされた画像が関心のテキストにどのようにマッチするかを示す。
実験結果から,本手法は高品位な3次元頭部彫刻を適切な形状とフォトリアリスティックな外観で提供し,最先端の手法よりも優れていたことが示唆された。
また、同じパイプラインが、幾何変形と外観変化の両方を含む生成したヘッドの編集をうまくサポートしていることを示す。
関連論文リスト
- NeRFFaceSpeech: One-shot Audio-driven 3D Talking Head Synthesis via Generative Prior [5.819784482811377]
高品質な3D対応音声ヘッドを作成できる新しい方法NeRFFaceSpeechを提案する。
本手法では,1枚の画像に対応する3次元顔特徴空間を作成できる。
また,リパインネットを導入し,その情報不足を補う。
論文 参考訳(メタデータ) (2024-05-09T13:14:06Z) - Text2Control3D: Controllable 3D Avatar Generation in Neural Radiance
Fields using Geometry-Guided Text-to-Image Diffusion Model [39.64952340472541]
本稿では,表情を制御可能な制御可能なテキスト・ツー・3Dアバター生成手法を提案する。
我々の主な戦略は、制御された視点認識画像のセットに最適化されたニューラルラジアンスフィールド(NeRF)における3Dアバターを構築することである。
実験結果を実証し,本手法の有効性について考察する。
論文 参考訳(メタデータ) (2023-09-07T08:14:46Z) - Articulated 3D Head Avatar Generation using Text-to-Image Diffusion
Models [107.84324544272481]
多様な頭部アバターを合成する能力は、拡張現実、撮影、教育など、多くの応用に不可欠である。
テキスト誘導型3Dオブジェクト生成に関する最近の研究は、これらのニーズに対処する上で大きな可能性を秘めている。
拡散に基づく頭部アバターは,この課題に対する最先端のアプローチよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-10T19:15:32Z) - Magic123: One Image to High-Quality 3D Object Generation Using Both 2D
and 3D Diffusion Priors [104.79392615848109]
Magic123は、高品質でテクスチャ化された3Dメッシュのための、2段階の粗大なアプローチである。
最初の段階では、粗い幾何学を生成するために、神経放射場を最適化する。
第2段階では、視覚的に魅力的なテクスチャを持つ高分解能メッシュを生成するために、メモリ効率のよい微分可能なメッシュ表現を採用する。
論文 参考訳(メタデータ) (2023-06-30T17:59:08Z) - ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image
Collections [71.46546520120162]
単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。
本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。
我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
論文 参考訳(メタデータ) (2023-06-07T17:47:50Z) - HeadSculpt: Crafting 3D Head Avatars with Text [143.14548696613886]
テキストプロンプトから3Dヘッドアバターを作るために,HeadSculptという多用途パイプラインを導入した。
まずランドマークに基づく制御と学習されたテキスト埋め込みを活用することで,3次元認識による拡散モデルを構築した。
テクスチャメッシュを高分解能な微分可能なレンダリング技術で最適化するための,新しいアイデンティティ対応編集スコア蒸留手法を提案する。
論文 参考訳(メタデータ) (2023-06-05T16:53:58Z) - Next3D: Generative Neural Texture Rasterization for 3D-Aware Head
Avatars [36.4402388864691]
3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。
最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。
本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
論文 参考訳(メタデータ) (2022-11-21T06:40:46Z) - Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。
本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
論文 参考訳(メタデータ) (2022-08-03T16:46:08Z) - Convolutional Generation of Textured 3D Meshes [34.20939983046376]
単視点自然画像からの2次元監視のみを用いて,三角形メッシュとそれに伴う高分解能テクスチャマップを生成できるフレームワークを提案する。
我々の研究の重要な貢献は、メッシュとテクスチャを2D表現として符号化することであり、意味的に整合し、2D畳み込みGANで容易にモデル化できる。
本研究では,Pascal3D+カーとCUBにおいて,モデルがクラスラベル,属性,テキストに条件付けされている場合とで,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2020-06-13T15:23:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。