論文の概要: HeadSculpt: Crafting 3D Head Avatars with Text

• arxiv url: http://arxiv.org/abs/2306.03038v2
• Date: Tue, 29 Aug 2023 11:08:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-30 18:08:44.509782
• Title: HeadSculpt: Crafting 3D Head Avatars with Text
• Title（参考訳）: HeadSculpt:テキストで3Dヘッドアバターを作る
• Authors: Xiao Han, Yukang Cao, Kai Han, Xiatian Zhu, Jiankang Deng, Yi-Zhe Song, Tao Xiang, Kwan-Yee K. Wong
• Abstract要約: テキストプロンプトから3Dヘッドアバターを作るために,HeadSculptという多用途パイプラインを導入した。 まずランドマークに基づく制御と学習されたテキスト埋め込みを活用することで,3次元認識による拡散モデルを構築した。 テクスチャメッシュを高分解能な微分可能なレンダリング技術で最適化するための,新しいアイデンティティ対応編集スコア蒸留手法を提案する。
• 参考スコア（独自算出の注目度）: 143.14548696613886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, text-guided 3D generative methods have made remarkable advancements in producing high-quality textures and geometry, capitalizing on the proliferation of large vision-language and image diffusion models. However, existing methods still struggle to create high-fidelity 3D head avatars in two aspects: (1) They rely mostly on a pre-trained text-to-image diffusion model whilst missing the necessary 3D awareness and head priors. This makes them prone to inconsistency and geometric distortions in the generated avatars. (2) They fall short in fine-grained editing. This is primarily due to the inherited limitations from the pre-trained 2D image diffusion models, which become more pronounced when it comes to 3D head avatars. In this work, we address these challenges by introducing a versatile coarse-to-fine pipeline dubbed HeadSculpt for crafting (i.e., generating and editing) 3D head avatars from textual prompts. Specifically, we first equip the diffusion model with 3D awareness by leveraging landmark-based control and a learned textual embedding representing the back view appearance of heads, enabling 3D-consistent head avatar generations. We further propose a novel identity-aware editing score distillation strategy to optimize a textured mesh with a high-resolution differentiable rendering technique. This enables identity preservation while following the editing instruction. We showcase HeadSculpt's superior fidelity and editing capabilities through comprehensive experiments and comparisons with existing methods.
• Abstract（参考訳）: 近年,テキストガイドによる3次元生成手法は,視覚言語モデルや画像拡散モデルの普及を活かし,高品質なテクスチャや形状の生成に飛躍的な進歩を遂げている。 しかし, 既存の手法では, 高忠実度な3Dヘッドアバターの製作に苦慮している。(1) 必要な3D認識と頭部前兆を欠きながら, トレーニング済みのテキスト・ツー・イメージ拡散モデルに大きく依存している。 これにより、生成されたアバターの矛盾や幾何学的な歪みが生じる。 2)微粒化編集では不足する。 これは主に、事前訓練された2D画像拡散モデルから引き継がれた制限のためであり、これは3Dヘッドアバターに関してより顕著になる。 本研究では,テキストプロンプトから3Dヘッドアバターを作成・編集するためのHeadSculptと呼ばれる多目的粗いパイプラインを導入することで,これらの課題に対処する。 具体的には,ランドマークベースの制御と,頭部のバックビューの出現を表す学習テキスト埋め込みを活用し,3d一貫性のある頭部アバター世代を実現することで,拡散モデルと3d認識を具備する。 さらに,高分解能な微分可能レンダリング技術を用いてテクスチャメッシュを最適化する,新しいアイデンティティ対応編集スコア蒸留手法を提案する。 これにより、編集命令に従ってアイデンティティを保存できる。 包括的実験と既存手法との比較を通して,headsculptの優れた忠実性と編集能力を紹介する。

関連論文リスト

• UltrAvatar: A Realistic Animatable 3D Avatar Diffusion Model with Authenticity Guided Textures [80.047065473698]
  幾何学の忠実度を高めたUltrAvatarと呼ばれる新しい3次元アバター生成手法を提案し,光を必要とせずに物理ベースレンダリング(PBR)テクスチャの質を向上する。 提案手法の有効性とロバスト性を実証し,実験において最先端の手法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2024-01-20T01:55:17Z)
• AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections [78.81539337399391]
  顔の表情, 頭部ポーズ, 肩の動きを制御可能なポートレート画像を生成するアニマタブルな3D認識型GANを提案する。 これは、3Dやビデオデータを使用しない非構造化2次元画像コレクションで訓練された生成モデルである。 生成した顔の質を向上させるために,デュアルカメラレンダリングと対角学習方式を提案する。
  論文  参考訳（メタデータ） (2023-09-05T12:44:57Z)
• Articulated 3D Head Avatar Generation using Text-to-Image Diffusion Models [107.84324544272481]
  多様な頭部アバターを合成する能力は、拡張現実、撮影、教育など、多くの応用に不可欠である。 テキスト誘導型3Dオブジェクト生成に関する最近の研究は、これらのニーズに対処する上で大きな可能性を秘めている。 拡散に基づく頭部アバターは,この課題に対する最先端のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-10T19:15:32Z)
• AvatarBooth: High-Quality and Customizable 3D Human Avatar Generation [14.062402203105712]
  AvatarBoothはテキストプロンプトや特定の画像を使って高品質な3Dアバターを生成する新しい方法である。 我々の重要な貢献は、二重微調整拡散モデルを用いた正確なアバター生成制御である。 本稿では,3次元アバター生成の粗大な監視を容易にするマルチレゾリューションレンダリング戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-16T14:18:51Z)
• DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models [55.71306021041785]
  高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。 SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。 また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
  論文  参考訳（メタデータ） (2023-04-03T12:11:51Z)
• Rodin: A Generative Model for Sculpting 3D Digital Avatars Using Diffusion [66.26780039133122]
  本稿では,拡散モデルを用いて3次元デジタルアバターを自動的に生成する3次元生成モデルを提案する。 3Dのメモリと処理コストは、高品質なアバターに必要な豊富な細部を生産することを禁じられている。 私たちは、リアルな髪型とひげのような顔の毛を持つ非常に詳細なアバターを作ることができます。
  論文  参考訳（メタデータ） (2022-12-12T18:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。