論文の概要: HeadStudio: Text to Animatable Head Avatars with 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2402.06149v1
• Date: Fri, 9 Feb 2024 02:58:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 18:04:10.563876
• Title: HeadStudio: Text to Animatable Head Avatars with 3D Gaussian Splatting
• Title（参考訳）: headstudio: 3d gaussian splattingによる頭部アバターのアニメーション化
• Authors: Zhenglin Zhou, Fan Ma, Hehe Fan, Yi Yang
• Abstract要約: 本稿では,テキストプロンプトからリアルかつアニメーションなアバターを生成するフレームワークであるHeadStudioを紹介する。 我々の手法は3Dガウスを意味的に駆動し、柔軟で達成可能な外観を作り出す。 アバターは高画質のリアルタイムビューを1024の解像度でレンダリングできる。
• 参考スコア（独自算出の注目度）: 35.29376195252977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Creating digital avatars from textual prompts has long been a desirable yet challenging task. Despite the promising outcomes obtained through 2D diffusion priors in recent works, current methods face challenges in achieving high-quality and animated avatars effectively. In this paper, we present $\textbf{HeadStudio}$, a novel framework that utilizes 3D Gaussian splatting to generate realistic and animated avatars from text prompts. Our method drives 3D Gaussians semantically to create a flexible and achievable appearance through the intermediate FLAME representation. Specifically, we incorporate the FLAME into both 3D representation and score distillation: 1) FLAME-based 3D Gaussian splatting, driving 3D Gaussian points by rigging each point to a FLAME mesh. 2) FLAME-based score distillation sampling, utilizing FLAME-based fine-grained control signal to guide score distillation from the text prompt. Extensive experiments demonstrate the efficacy of HeadStudio in generating animatable avatars from textual prompts, exhibiting visually appealing appearances. The avatars are capable of rendering high-quality real-time ($\geq 40$ fps) novel views at a resolution of 1024. They can be smoothly controlled by real-world speech and video. We hope that HeadStudio can advance digital avatar creation and that the present method can widely be applied across various domains.
• Abstract（参考訳）: テキストによるプロンプトからデジタルアバターを作ることは、長い間、望ましいが挑戦的な課題だった。 近年の2次元拡散による有望な成果にもかかわらず、現在の手法は高品質でアニメーションのアバターを効果的に実現するための課題に直面している。 本稿では,テキストプロンプトからリアルかつアニメーションなアバターを生成するために3次元ガウススプラッティングを利用する新しいフレームワークである$\textbf{HeadStudio}$を提案する。 本手法は3次元ガウスを意味的に駆動し,中間FLAME表現を通して柔軟で達成可能な外観を生成する。 具体的には、FLAMEを3D表現とスコア蒸留の両方に組み込む。 1) 各点を火炎メッシュに配置して3次元ガウス点を駆動する火炎型3次元ガウス型スメッティング 2) FLAMEをベースとした微粒化制御信号を用いてテキストプロンプトからスコア蒸留を誘導する。 広汎な実験は、テキストのプロンプトからアニマタブルなアバターを生成するためにHeadStudioの有効性を示し、視覚的に魅力的な外観を示す。 アバターは1024の解像度で、高品質なリアルタイム(\geq 40$ fps)のビューをレンダリングすることができる。 それらは、現実世界の音声とビデオでスムーズに制御できる。 我々は、headstudioがデジタルアバター作成を前進させ、本手法が様々なドメインに広く適用できることを期待している。

関連論文リスト

• DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D Diffusion [69.67970568012599]
  テキストからアニマタブルな3Dアバター生成のための新しい学習フレームワークDreamWaltz-Gを提案する。 このフレームワークのコアはScore DistillationとHybrid 3D Gaussian Avatar表現にある。 我々のフレームワークは、人間のビデオ再現や多目的シーン構成など、多様なアプリケーションもサポートしています。
  論文  参考訳（メタデータ） (2024-09-25T17:59:45Z)
• DEGAS: Detailed Expressions on Full-Body Gaussian Avatars [13.683836322899953]
  顔表情の豊かなフルボディアバターに対する3次元ガウススティング(3DGS)に基づくモデリング手法であるDEGASを提案する。 本稿では,2次元の顔と3次元のアバターのギャップを埋めて,2次元の肖像画にのみ訓練された潜在空間を採用することを提案する。
  論文  参考訳（メタデータ） (2024-08-20T06:52:03Z)
• AniArtAvatar: Animatable 3D Art Avatar from a Single Image [0.0]
  単一画像からアニマタブルな3D認識アートアバターを生成するための新しいアプローチを提案する。 我々は、ビュー条件付き2次元拡散モデルを用いて、中性表現で1枚の絵画像から多視点画像を合成する。 アバターアニメーションでは、制御点を抽出し、これらの点で動きを転送し、暗黙の正準空間を変形する。
  論文  参考訳（メタデータ） (2024-03-26T12:08:04Z)
• GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
  ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。 本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。 提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
  論文  参考訳（メタデータ） (2023-12-18T18:59:12Z)
• AvatarStudio: High-fidelity and Animatable 3D Avatar Creation from Text [71.09533176800707]
  アバターストゥディオ(AvatarStudio)は、アニマタブルな人間のアバターのために、明瞭なテクスチャ化された3Dメッシュを生成する粗大で微細な生成モデルである。 調音メッシュ表現とDensePose条件拡散モデルとの相乗効果を効果的に活用することにより、AvatarStudioは高品質なアバターを作成することができる。
  論文  参考訳（メタデータ） (2023-11-29T18:59:32Z)
• HeadSculpt: Crafting 3D Head Avatars with Text [143.14548696613886]
  テキストプロンプトから3Dヘッドアバターを作るために,HeadSculptという多用途パイプラインを導入した。 まずランドマークに基づく制御と学習されたテキスト埋め込みを活用することで,3次元認識による拡散モデルを構築した。 テクスチャメッシュを高分解能な微分可能なレンダリング技術で最適化するための,新しいアイデンティティ対応編集スコア蒸留手法を提案する。
  論文  参考訳（メタデータ） (2023-06-05T16:53:58Z)
• DreamWaltz: Make a Scene with Complex 3D Animatable Avatars [68.49935994384047]
  本稿では,テキストガイダンスとパラメトリック人体を用いた複雑な3Dアバターの生成とアニメーションを行う新しいフレームワークであるDreamWaltzを紹介する。 アニメーションでは,様々なポーズに条件付き拡散モデルの豊富な画像から,アニマタブルな3次元アバター表現を学習する。
  論文  参考訳（メタデータ） (2023-05-21T17:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。