論文の概要: Expressive Whole-Body 3D Gaussian Avatar
- arxiv url: http://arxiv.org/abs/2407.21686v1
- Date: Wed, 31 Jul 2024 15:29:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-01 12:17:56.540040
- Title: Expressive Whole-Body 3D Gaussian Avatar
- Title（参考訳）: 表現的全体3次元ガウスアバター
- Authors: Gyeongsik Moon, Takaaki Shiratori, Shunsuke Saito,
- Abstract要約: モノクローナルビデオから学習した,表現力のある全身3DアバターであるExAvatarについて紹介する。
主な課題は,1)表情の多様性に限界があり,映像中のポーズ,2)3DスキャンやRGBD画像などの3D観察の欠如である。
- 参考スコア（独自算出の注目度）: 34.3179424934446
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Facial expression and hand motions are necessary to express our emotions and interact with the world. Nevertheless, most of the 3D human avatars modeled from a casually captured video only support body motions without facial expressions and hand motions.In this work, we present ExAvatar, an expressive whole-body 3D human avatar learned from a short monocular video. We design ExAvatar as a combination of the whole-body parametric mesh model (SMPL-X) and 3D Gaussian Splatting (3DGS). The main challenges are 1) a limited diversity of facial expressions and poses in the video and 2) the absence of 3D observations, such as 3D scans and RGBD images. The limited diversity in the video makes animations with novel facial expressions and poses non-trivial. In addition, the absence of 3D observations could cause significant ambiguity in human parts that are not observed in the video, which can result in noticeable artifacts under novel motions. To address them, we introduce our hybrid representation of the mesh and 3D Gaussians. Our hybrid representation treats each 3D Gaussian as a vertex on the surface with pre-defined connectivity information (i.e., triangle faces) between them following the mesh topology of SMPL-X. It makes our ExAvatar animatable with novel facial expressions by driven by the facial expression space of SMPL-X. In addition, by using connectivity-based regularizers, we significantly reduce artifacts in novel facial expressions and poses.
- Abstract（参考訳）: 表情と手の動きは、私たちの感情を表現し、世界と対話するために必要です。
それにもかかわらず、カジュアルにキャプチャーされたビデオからモデル化された3D人間のアバターのほとんどは、表情や手の動きを伴わない身体の動きしかサポートしていない。
本研究では,全体パラメトリックメッシュモデル(SMPL-X)と3次元ガウススプラッティング(3DGS)の組み合わせとしてExAvatarを設計する。
主な課題は
1)ビデオにおける表情とポーズの多様性の限定
2)3DスキャンやRGBD画像などの3D観察の欠如。
動画の多様性は限られており、新しい表情でアニメーションを作り、非自明なポーズをとっています。
さらに、3Dの観察がないことは、ビデオに映っていない人間の部分に大きな曖昧さを生じさせ、新しい動きの下で顕著な成果をもたらす可能性がある。
これらの問題に対処するために,メッシュと3Dガウスのハイブリッド表現を紹介した。
我々のハイブリッド表現は、SMPL-Xのメッシュトポロジーに従って、各3次元ガウスを予め定義された接続情報(三角形面)を持つ頂点として扱う。
SMPL-Xの表情空間を駆使して,ExAvatarに新しい表情を付与する。
さらに,接続型正規化器を用いることで,新しい表情やポーズのアーティファクトを大幅に削減する。
関連論文リスト
- DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D
Diffusion [69.67970568012599]
テキストからアニマタブルな3Dアバター生成のための新しい学習フレームワークDreamWaltz-Gを提案する。
このフレームワークのコアはScore DistillationとHybrid 3D Gaussian Avatar表現にある。
我々のフレームワークは、人間のビデオ再現や多目的シーン構成など、多様なアプリケーションもサポートしています。
論文 参考訳（メタデータ） (2024-09-25T17:59:45Z) - DEGAS: Detailed Expressions on Full-Body Gaussian Avatars [13.683836322899953]
顔表情の豊かなフルボディアバターに対する3次元ガウススティング(3DGS)に基づくモデリング手法であるDEGASを提案する。
本稿では,2次元の顔と3次元のアバターのギャップを埋めて,2次元の肖像画にのみ訓練された潜在空間を採用することを提案する。
論文 参考訳（メタデータ） (2024-08-20T06:52:03Z) - iHuman: Instant Animatable Digital Humans From Monocular Videos [16.98924995658091]
モノクロビデオからアニマタブルな3Dデジタル人間を作るための,迅速かつシンプルで効果的な方法を提案する。
この研究は、人間の身体の正確な3Dメッシュ型モデリングの必要性を達成し、説明します。
我々の手法は(訓練時間の観点から)最も近い競合相手よりも桁違いに高速である。
論文 参考訳（メタデータ） (2024-07-15T18:51:51Z) - Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。
ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。
当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
論文 参考訳（メタデータ） (2023-12-22T20:56:46Z) - Reality's Canvas, Language's Brush: Crafting 3D Avatars from Monocular Video [14.140380599168628]
ReCaLaBは、単一のRGBビデオから高忠実な3Dアバターを学習するパイプラインだ。
ポーズ条件のNeRFは、人間の対象を標準的T目的で容積的に表現するように最適化される。
これにより、画像条件付き拡散モデルにより、3Dアバターの外観とポーズをアニメーション化し、これまで見えなかった人間の動きを伴う映像シーケンスを作成することができる。
論文 参考訳（メタデータ） (2023-12-08T01:53:06Z) - DF-3DFace: One-to-Many Speech Synchronized 3D Face Animation with
Diffusion [68.85904927374165]
拡散駆動型音声から3次元の顔メッシュ合成であるDF-3DFaceを提案する。
拡散に基づく音声と3次元顔の複雑な一対多関係をキャプチャする。
最先端の手法よりもリアルな顔アニメーションを同時に実現します。
論文 参考訳（メタデータ） (2023-08-23T04:14:55Z) - AniFaceGAN: Animatable 3D-Aware Face Image Generation for Video Avatars [71.00322191446203]
2D生成モデルは、異なるカメラ視点で画像をレンダリングする際に、しばしば望ましくないアーティファクトに悩まされる。
近年,3次元シーン表現を活用することで,3次元カメラポーズのゆがみを明示するために2次元GANを拡張している。
マルチビュー一貫した顔アニメーション生成のためのアニマタブルな3D対応GANを提案する。
論文 参考訳（メタデータ） (2022-10-12T17:59:56Z) - ICON: Implicit Clothed humans Obtained from Normals [49.5397825300977]
入念な機能は、髪や服などの細部をキャプチャできるので、最初のタスクに適している。
ICON は、SMPL(-X) の正常に条件付けされた詳細な布-ヒトの正常を推測する。
ICONは、Wild画像から頑丈な3D服を復元する一歩を踏み出した。
論文 参考訳（メタデータ） (2021-12-16T18:59:41Z) - 3D-TalkEmo: Learning to Synthesize 3D Emotional Talking Head [13.305263646852087]
3D-TalkEmoは、様々な感情を持つ3Dトークヘッドアニメーションを生成するディープニューラルネットワークです。
私たちはまた、オーディオとビデオの同期、豊富なコーパス、異なる人のさまざまな感情状態を含む大きな3dデータセットも作成します。
論文 参考訳（メタデータ） (2021-04-25T02:48:19Z) - Audio- and Gaze-driven Facial Animation of Codec Avatars [149.0094713268313]
音声および/またはアイトラッキングを用いて,コーデックアバターをリアルタイムにアニメーション化するための最初のアプローチについて述べる。
私たちのゴールは、重要な社会的シグナルを示す個人間の表現力のある会話を表示することです。
論文 参考訳（メタデータ） (2020-08-11T22:28:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。