論文の概要: HeadStudio: Text to Animatable Head Avatars with 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2402.06149v2
• Date: Sat, 21 Dec 2024 01:30:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 19:21:35.308392
• Title: HeadStudio: Text to Animatable Head Avatars with 3D Gaussian Splatting
• Title（参考訳）: HeadStudio:3Dガウススプレイティングによるアニメーション可能なヘッドアバター
• Authors: Zhenglin Zhou, Fan Ma, Hehe Fan, Zongxin Yang, Yi Yang,
• Abstract要約: HeadStudioはテキストプロンプトからリアルでアニマタブルなアバターを生成するフレームワークである。 アバターは1024fpsの解像度で高品質のリアルタイムビューをレンダリングできる。
• 参考スコア（独自算出の注目度）: 43.978358118034514
• License:
• Abstract: Creating digital avatars from textual prompts has long been a desirable yet challenging task. Despite the promising results achieved with 2D diffusion priors, current methods struggle to create high-quality and consistent animated avatars efficiently. Previous animatable head models like FLAME have difficulty in accurately representing detailed texture and geometry. Additionally, high-quality 3D static representations face challenges in semantically driving with dynamic priors. In this paper, we introduce \textbf{HeadStudio}, a novel framework that utilizes 3D Gaussian splatting to generate realistic and animatable avatars from text prompts. Firstly, we associate 3D Gaussians with animatable head prior model, facilitating semantic animation on high-quality 3D representations. To ensure consistent animation, we further enhance the optimization from initialization, distillation, and regularization to jointly learn the shape, texture, and animation. Extensive experiments demonstrate the efficacy of HeadStudio in generating animatable avatars from textual prompts, exhibiting appealing appearances. The avatars are capable of rendering high-quality real-time ($\geq 40$ fps) novel views at a resolution of 1024. Moreover, These avatars can be smoothly driven by real-world speech and video. We hope that HeadStudio can enhance digital avatar creation and gain popularity in the community. Code is at: https://github.com/ZhenglinZhou/HeadStudio.
• Abstract（参考訳）: テキストのプロンプトからデジタルアバターを作ることは、長年望まれてきたが難しい課題だった。 2次元拡散に先立つ有望な成果にもかかわらず、現在の手法は高品質で一貫したアニメーションアバターを効率的に作るのに苦労している。 FLAMEのような以前のアニマタブルヘッドモデルは、詳細なテクスチャと幾何学を正確に表現することが困難であった。 さらに、ハイクオリティな3D静的表現は、動的な事前処理でセマンティックに駆動する際の課題に直面します。 本稿では,テキストプロンプトから現実的でアニマタブルなアバターを生成するために,3次元ガウススプラッティングを利用した新しいフレームワークである「textbf{HeadStudio}」を紹介する。 まず,高品位な3次元表現のセマンティックアニメーションを容易にするために,3次元ガウスアンをアニマタブルな頭部先行モデルに関連付ける。 一貫したアニメーションを確保するため、我々は初期化、蒸留、正規化から最適化を強化し、形状、テクスチャ、アニメーションを共同で学習する。 広範囲にわたる実験は、文章のプロンプトからアニマタブルなアバターを発生させ、魅力的な外観を示すヘッドスタディオの有効性を実証している。 アバターは1024の解像度で、高品質なリアルタイム(\geq 40$ fps)のビューをレンダリングすることができる。 さらに、これらのアバターは現実世界のスピーチやビデオによってスムーズに駆動することができる。 HeadStudioがデジタルアバターの制作を強化し、コミュニティで人気を得られることを願っている。 コードは https://github.com/ZhenglinZhou/HeadStudio.com にある。

関連論文リスト

• DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D Diffusion [69.67970568012599]
  テキストからアニマタブルな3Dアバター生成のための新しい学習フレームワークDreamWaltz-Gを提案する。 このフレームワークのコアはScore DistillationとHybrid 3D Gaussian Avatar表現にある。 我々のフレームワークは、人間のビデオ再現や多目的シーン構成など、多様なアプリケーションもサポートしています。
  論文  参考訳（メタデータ） (2024-09-25T17:59:45Z)
• DEGAS: Detailed Expressions on Full-Body Gaussian Avatars [13.683836322899953]
  顔表情の豊かなフルボディアバターに対する3次元ガウススティング(3DGS)に基づくモデリング手法であるDEGASを提案する。 本稿では,2次元の顔と3次元のアバターのギャップを埋めて,2次元の肖像画にのみ訓練された潜在空間を採用することを提案する。
  論文  参考訳（メタデータ） (2024-08-20T06:52:03Z)
• AniArtAvatar: Animatable 3D Art Avatar from a Single Image [0.0]
  単一画像からアニマタブルな3D認識アートアバターを生成するための新しいアプローチを提案する。 我々は、ビュー条件付き2次元拡散モデルを用いて、中性表現で1枚の絵画像から多視点画像を合成する。 アバターアニメーションでは、制御点を抽出し、これらの点で動きを転送し、暗黙の正準空間を変形する。
  論文  参考訳（メタデータ） (2024-03-26T12:08:04Z)
• GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
  ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。 本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。 提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
  論文  参考訳（メタデータ） (2023-12-18T18:59:12Z)
• AvatarStudio: High-fidelity and Animatable 3D Avatar Creation from Text [71.09533176800707]
  アバターストゥディオ(AvatarStudio)は、アニマタブルな人間のアバターのために、明瞭なテクスチャ化された3Dメッシュを生成する粗大で微細な生成モデルである。 調音メッシュ表現とDensePose条件拡散モデルとの相乗効果を効果的に活用することにより、AvatarStudioは高品質なアバターを作成することができる。
  論文  参考訳（メタデータ） (2023-11-29T18:59:32Z)
• HeadSculpt: Crafting 3D Head Avatars with Text [143.14548696613886]
  テキストプロンプトから3Dヘッドアバターを作るために,HeadSculptという多用途パイプラインを導入した。 まずランドマークに基づく制御と学習されたテキスト埋め込みを活用することで,3次元認識による拡散モデルを構築した。 テクスチャメッシュを高分解能な微分可能なレンダリング技術で最適化するための,新しいアイデンティティ対応編集スコア蒸留手法を提案する。
  論文  参考訳（メタデータ） (2023-06-05T16:53:58Z)
• DreamWaltz: Make a Scene with Complex 3D Animatable Avatars [68.49935994384047]
  本稿では,テキストガイダンスとパラメトリック人体を用いた複雑な3Dアバターの生成とアニメーションを行う新しいフレームワークであるDreamWaltzを紹介する。 アニメーションでは,様々なポーズに条件付き拡散モデルの豊富な画像から,アニマタブルな3次元アバター表現を学習する。
  論文  参考訳（メタデータ） (2023-05-21T17:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。