論文の概要: HeadStudio: Text to Animatable Head Avatars with 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2402.06149v2
• Date: Sat, 21 Dec 2024 01:30:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 19:21:35.308392
• Title: HeadStudio: Text to Animatable Head Avatars with 3D Gaussian Splatting
• Title（参考訳）: HeadStudio:3Dガウススプレイティングによるアニメーション可能なヘッドアバター
• Authors: Zhenglin Zhou, Fan Ma, Hehe Fan, Zongxin Yang, Yi Yang,
• Abstract要約: HeadStudioはテキストプロンプトからリアルでアニマタブルなアバターを生成するフレームワークである。 アバターは1024fpsの解像度で高品質のリアルタイムビューをレンダリングできる。
• 参考スコア（独自算出の注目度）: 43.978358118034514
• License:
• Abstract: Creating digital avatars from textual prompts has long been a desirable yet challenging task. Despite the promising results achieved with 2D diffusion priors, current methods struggle to create high-quality and consistent animated avatars efficiently. Previous animatable head models like FLAME have difficulty in accurately representing detailed texture and geometry. Additionally, high-quality 3D static representations face challenges in semantically driving with dynamic priors. In this paper, we introduce \textbf{HeadStudio}, a novel framework that utilizes 3D Gaussian splatting to generate realistic and animatable avatars from text prompts. Firstly, we associate 3D Gaussians with animatable head prior model, facilitating semantic animation on high-quality 3D representations. To ensure consistent animation, we further enhance the optimization from initialization, distillation, and regularization to jointly learn the shape, texture, and animation. Extensive experiments demonstrate the efficacy of HeadStudio in generating animatable avatars from textual prompts, exhibiting appealing appearances. The avatars are capable of rendering high-quality real-time ($\geq 40$ fps) novel views at a resolution of 1024. Moreover, These avatars can be smoothly driven by real-world speech and video. We hope that HeadStudio can enhance digital avatar creation and gain popularity in the community. Code is at: https://github.com/ZhenglinZhou/HeadStudio.
• Abstract（参考訳）: テキストのプロンプトからデジタルアバターを作ることは、長年望まれてきたが難しい課題だった。 2次元拡散に先立つ有望な成果にもかかわらず、現在の手法は高品質で一貫したアニメーションアバターを効率的に作るのに苦労している。 FLAMEのような以前のアニマタブルヘッドモデルは、詳細なテクスチャと幾何学を正確に表現することが困難であった。 さらに、ハイクオリティな3D静的表現は、動的な事前処理でセマンティックに駆動する際の課題に直面します。 本稿では,テキストプロンプトから現実的でアニマタブルなアバターを生成するために,3次元ガウススプラッティングを利用した新しいフレームワークである「textbf{HeadStudio}」を紹介する。 まず,高品位な3次元表現のセマンティックアニメーションを容易にするために,3次元ガウスアンをアニマタブルな頭部先行モデルに関連付ける。 一貫したアニメーションを確保するため、我々は初期化、蒸留、正規化から最適化を強化し、形状、テクスチャ、アニメーションを共同で学習する。 広範囲にわたる実験は、文章のプロンプトからアニマタブルなアバターを発生させ、魅力的な外観を示すヘッドスタディオの有効性を実証している。 アバターは1024の解像度で、高品質なリアルタイム(\geq 40$ fps)のビューをレンダリングすることができる。 さらに、これらのアバターは現実世界のスピーチやビデオによってスムーズに駆動することができる。 HeadStudioがデジタルアバターの制作を強化し、コミュニティで人気を得られることを願っている。 コードは https://github.com/ZhenglinZhou/HeadStudio.com にある。

関連論文リスト

• Generating Editable Head Avatars with 3D Gaussian GANs [57.51487984425395]
  従来の3D-Aware Generative Adversarial Network (GAN) は、フォトリアリスティックでビューに一貫性のある3Dヘッド合成を実現する。 本稿では,3次元ガウススプラッティング(3DGS)を明示的な3次元表現として取り入れることで,3次元ヘッドアバターの編集性とアニメーション制御を向上する手法を提案する。 提案手法は,最先端の制御性を備えた高品質な3D認識合成を実現する。
  論文  参考訳（メタデータ） (2024-12-26T10:10:03Z)
• DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D Diffusion [69.67970568012599]
  テキストからアニマタブルな3Dアバター生成のための新しい学習フレームワークDreamWaltz-Gを提案する。 このフレームワークのコアはScore DistillationとHybrid 3D Gaussian Avatar表現にある。 我々のフレームワークは、人間のビデオ再現や多目的シーン構成など、多様なアプリケーションもサポートしています。
  論文  参考訳（メタデータ） (2024-09-25T17:59:45Z)
• AvatarStudio: High-fidelity and Animatable 3D Avatar Creation from Text [71.09533176800707]
  アバターストゥディオ(AvatarStudio)は、アニマタブルな人間のアバターのために、明瞭なテクスチャ化された3Dメッシュを生成する粗大で微細な生成モデルである。 調音メッシュ表現とDensePose条件拡散モデルとの相乗効果を効果的に活用することにより、AvatarStudioは高品質なアバターを作成することができる。
  論文  参考訳（メタデータ） (2023-11-29T18:59:32Z)
• HeadSculpt: Crafting 3D Head Avatars with Text [143.14548696613886]
  テキストプロンプトから3Dヘッドアバターを作るために,HeadSculptという多用途パイプラインを導入した。 まずランドマークに基づく制御と学習されたテキスト埋め込みを活用することで,3次元認識による拡散モデルを構築した。 テクスチャメッシュを高分解能な微分可能なレンダリング技術で最適化するための,新しいアイデンティティ対応編集スコア蒸留手法を提案する。
  論文  参考訳（メタデータ） (2023-06-05T16:53:58Z)
• DreamWaltz: Make a Scene with Complex 3D Animatable Avatars [68.49935994384047]
  本稿では,テキストガイダンスとパラメトリック人体を用いた複雑な3Dアバターの生成とアニメーションを行う新しいフレームワークであるDreamWaltzを紹介する。 アニメーションでは,様々なポーズに条件付き拡散モデルの豊富な画像から,アニマタブルな3次元アバター表現を学習する。
  論文  参考訳（メタデータ） (2023-05-21T17:59:39Z)
• GANHead: Towards Generative Animatable Neural Head Avatars [31.35233032284164]
  GANHeadは、明示的な表現パラメータのきめ細かい制御の利点を生かした、新しい生成ヘッドモデルである。 粗い幾何学、細かな詳細、標準空間の3つのネットワークによるテクスチャを表現している。 ヘッドアバター生成および生スキャンフィッティングにおいて優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-04-08T07:56:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。