論文の概要: GEA: Reconstructing Expressive 3D Gaussian Avatar from Monocular Video
- arxiv url: http://arxiv.org/abs/2402.16607v1
- Date: Mon, 26 Feb 2024 14:40:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 20:29:44.560222
- Title: GEA: Reconstructing Expressive 3D Gaussian Avatar from Monocular Video
- Title(参考訳): GEA:モノクロ映像から3Dガウスアバターを再構築
- Authors: Xinqi Liu, Chenming Wu, Xing Liu, Jialun Liu, Jinbo Wu, Chen Zhao,
Haocheng Feng, Errui Ding, Jingdong Wang
- Abstract要約: GEAは3Dガウスに基づく高忠実度体と手を再現した表現力のある3Dアバターを作成する新しい方法である。
人体とポーズのきめ細かい制御を提供しながら、フォトリアリスティックなビュー合成における最先端のパフォーマンスを実現する。
- 参考スコア(独自算出の注目度): 58.529031282445665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents GEA, a novel method for creating expressive 3D avatars
with high-fidelity reconstructions of body and hands based on 3D Gaussians. The
key contributions are twofold. First, we design a two-stage pose estimation
method to obtain an accurate SMPL-X pose from input images, providing a correct
mapping between the pixels of a training image and the SMPL-X model. It uses an
attention-aware network and an optimization scheme to align the normal and
silhouette between the estimated SMPL-X body and the real body in the image.
Second, we propose an iterative re-initialization strategy to handle unbalanced
aggregation and initialization bias faced by Gaussian representation. This
strategy iteratively redistributes the avatar's Gaussian points, making it
evenly distributed near the human body surface by applying meshing, resampling
and re-Gaussian operations. As a result, higher-quality rendering can be
achieved. Extensive experimental analyses validate the effectiveness of the
proposed model, demonstrating that it achieves state-of-the-art performance in
photorealistic novel view synthesis while offering fine-grained control over
the human body and hand pose. Project page: https://3d-aigc.github.io/GEA/.
- Abstract(参考訳): 本稿では,3次元ガウスアンに基づく体と手の高忠実度再構成による表現力のある3Dアバター作成手法であるGAAを提案する。
主な貢献は2つです。
まず、入力画像から正確なSMPL-Xポーズを得るための2段階ポーズ推定法を設計し、トレーニング画像の画素とSMPL-Xモデルとの正確なマッピングを提供する。
注意を意識したネットワークと最適化スキームを使用して、画像中の推定SMPL-X体と実物との間の正規とシルエットを整列する。
第2に,ガウス表現が直面する不均衡な集約と初期化バイアスに対処する反復的初期化戦略を提案する。
この戦略は、アバターのガウス点を反復的に再分配し、メッシュ化、再サンプリング、再ゲージ操作を施し、人体表面付近に均等に分布させる。
その結果、高品質なレンダリングが可能になる。
本モデルの有効性を実験的に検証し, 人体と手ポーズのきめ細かい制御を提供しながら, フォトリアリスティックな新規ビュー合成における最先端性能を実現することを実証した。
プロジェクトページ: https://3d-aigc.github.io/GEA/。
関連論文リスト
- GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting [11.791944275269266]
メッシュと同じようにガウス成分を修正可能なガウスメッシュスプラッティング(GaMeS)モデルを導入する。
また、メッシュ上の位置のみに基づいてガウススプレートを定義し、アニメーション中の位置、スケール、回転を自動的に調整する。
論文 参考訳(メタデータ) (2024-02-02T14:50:23Z) - Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。
ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。
当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
論文 参考訳(メタデータ) (2023-12-22T20:56:46Z) - GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [63.36547802939503]
ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。
本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。
提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
論文 参考訳(メタデータ) (2023-12-18T18:59:12Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [54.56928482110888]
本稿では,まず3次元ガウス表現を同時局所化・マッピングシステムで利用するtextbfGS-SLAM$を紹介する。
提案手法では,地図の最適化とRGB-D再レンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳(メタデータ) (2023-11-20T12:08:23Z) - SplatArmor: Articulated Gaussian splatting for animatable humans from
monocular RGB videos [15.74530749823217]
SplatArmorは, 3次元ガウスモデルを用いたパラメータ化ボディモデルの装甲により, 詳細かつアニマタブルな人体モデルを復元する新しい手法である。
我々のアプローチは、人間を標準空間内の3次元ガウスの集合として表現し、その記述は、下層のSMPL幾何学のスキン化を拡張することによって定義される。
ZJU MoCap と People Snapshot のデータセットに魅力的な結果が得られた。
論文 参考訳(メタデータ) (2023-11-17T18:47:07Z) - Adversarial Parametric Pose Prior [106.12437086990853]
我々は、SMPLパラメータを現実的なポーズを生成する値に制限する事前学習を行う。
得られた先行学習は実データ分布の多様性をカバーし、2次元キーポイントからの3次元再構成の最適化を容易にし、画像からの回帰に使用する場合のポーズ推定精度を向上することを示す。
論文 参考訳(メタデータ) (2021-12-08T10:05:32Z) - Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。
主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。
本稿では,D2S(Deep-to-scale)投影法を提案する。
論文 参考訳(メタデータ) (2020-10-27T03:31:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。