論文の概要: DEGAS: Detailed Expressions on Full-Body Gaussian Avatars

• arxiv url: http://arxiv.org/abs/2408.10588v1
• Date: Tue, 20 Aug 2024 06:52:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 14:54:06.903617
• Title: DEGAS: Detailed Expressions on Full-Body Gaussian Avatars
• Title（参考訳）: DEGAS:全体ガウスアバターの詳細な表現
• Authors: Zhijing Shao, Duotun Wang, Qing-Yao Tian, Yao-Dong Yang, Hengyu Meng, Zeyu Cai, Bo Dong, Yu Zhang, Kang Zhang, Zeyu Wang,
• Abstract要約: 顔表情の豊かなフルボディアバターに対する3次元ガウススティング(3DGS)に基づくモデリング手法であるDEGASを提案する。 本稿では,2次元の顔と3次元のアバターのギャップを埋めて,2次元の肖像画にのみ訓練された潜在空間を採用することを提案する。
• 参考スコア（独自算出の注目度）: 13.683836322899953
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Although neural rendering has made significant advancements in creating lifelike, animatable full-body and head avatars, incorporating detailed expressions into full-body avatars remains largely unexplored. We present DEGAS, the first 3D Gaussian Splatting (3DGS)-based modeling method for full-body avatars with rich facial expressions. Trained on multiview videos of a given subject, our method learns a conditional variational autoencoder that takes both the body motion and facial expression as driving signals to generate Gaussian maps in the UV layout. To drive the facial expressions, instead of the commonly used 3D Morphable Models (3DMMs) in 3D head avatars, we propose to adopt the expression latent space trained solely on 2D portrait images, bridging the gap between 2D talking faces and 3D avatars. Leveraging the rendering capability of 3DGS and the rich expressiveness of the expression latent space, the learned avatars can be reenacted to reproduce photorealistic rendering images with subtle and accurate facial expressions. Experiments on an existing dataset and our newly proposed dataset of full-body talking avatars demonstrate the efficacy of our method. We also propose an audio-driven extension of our method with the help of 2D talking faces, opening new possibilities to interactive AI agents.
• Abstract（参考訳）: ニューラルレンダリングは、生命に似た、アニマタブルなフルボディアバターとヘッドアバターの作成において大きな進歩を遂げているが、詳細な表現をフルボディアバターに組み込むことは、ほとんど未発見のままである。 顔表情の豊かなフルボディアバターに対する3次元ガウススティング(3DGS)に基づくモデリング手法であるDEGASを提案する。 対象者のマルチビュー映像に基づいて,身体動作と表情の両方を駆動信号として用いた条件付き変分オートエンコーダを学習し,UVレイアウトのガウス写像を生成する。 本研究では,3次元頭部アバターにおける3次元形態モデル(3DMM)の代わりに,2次元顔画像のみを訓練した潜在空間を用いて,2次元顔と3次元アバターのギャップを埋めることを提案する。 3DGSのレンダリング能力と表現潜在空間の豊かな表現性を活用して、学習したアバターを再現して、微妙で正確な表情で写実的なレンダリング画像を再現することができる。 既存のデータセットと、新たに提案したフルボディ音声アバターのデータセットを用いた実験により、本手法の有効性が示された。 また,対話型AIエージェントに新たな可能性を開くため,音声による2次元会話による手法の拡張も提案する。

関連論文リスト

• Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
  本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:29:00Z)
• DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D Diffusion [69.67970568012599]
  テキストからアニマタブルな3Dアバター生成のための新しい学習フレームワークDreamWaltz-Gを提案する。 このフレームワークのコアはScore DistillationとHybrid 3D Gaussian Avatar表現にある。 我々のフレームワークは、人間のビデオ再現や多目的シーン構成など、多様なアプリケーションもサポートしています。
  論文  参考訳（メタデータ） (2024-09-25T17:59:45Z)
• Expressive Whole-Body 3D Gaussian Avatar [34.3179424934446]
  モノクローナルビデオから学習した,表現力のある全身3DアバターであるExAvatarについて紹介する。 主な課題は,1)表情の多様性に限界があり,映像中のポーズ,2)3DスキャンやRGBD画像などの3D観察の欠如である。
  論文  参考訳（メタデータ） (2024-07-31T15:29:13Z)
• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• Animatable and Relightable Gaussians for High-fidelity Human Avatar Modeling [47.1427140235414]
  強力な2次元CNNと3次元ガウススプラッティングを活用して高忠実度アバターを作成する新しいアバター表現を提案する。 我々の手法は、動的で現実的で、一般化され、楽しく見えるアバターを作ることができる。
  論文  参考訳（メタデータ） (2023-11-27T18:59:04Z)
• GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar [48.21353924040671]
  そこで本稿では,顔表情の正確な追跡を行うことなく,画像から人固有のアニマタブルなアバターを学習することを提案する。 3DMMの表情パラメータから生成モデルの潜在空間へのマッピングを学習する。 この方式により、3次元の外観再構成とアニメーション制御を分離し、画像合成における高忠実度を実現する。
  論文  参考訳（メタデータ） (2023-11-22T19:13:00Z)
• DreamWaltz: Make a Scene with Complex 3D Animatable Avatars [68.49935994384047]
  本稿では,テキストガイダンスとパラメトリック人体を用いた複雑な3Dアバターの生成とアニメーションを行う新しいフレームワークであるDreamWaltzを紹介する。 アニメーションでは,様々なポーズに条件付き拡散モデルの豊富な画像から,アニマタブルな3次元アバター表現を学習する。
  論文  参考訳（メタデータ） (2023-05-21T17:59:39Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。