論文の概要: GEA: Reconstructing Expressive 3D Gaussian Avatar from Monocular Video

• arxiv url: http://arxiv.org/abs/2402.16607v1
• Date: Mon, 26 Feb 2024 14:40:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 20:29:44.560222
• Title: GEA: Reconstructing Expressive 3D Gaussian Avatar from Monocular Video
• Title（参考訳）: GEA:モノクロ映像から3Dガウスアバターを再構築
• Authors: Xinqi Liu, Chenming Wu, Xing Liu, Jialun Liu, Jinbo Wu, Chen Zhao, Haocheng Feng, Errui Ding, Jingdong Wang
• Abstract要約: GEAは3Dガウスに基づく高忠実度体と手を再現した表現力のある3Dアバターを作成する新しい方法である。 人体とポーズのきめ細かい制御を提供しながら、フォトリアリスティックなビュー合成における最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 58.529031282445665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents GEA, a novel method for creating expressive 3D avatars with high-fidelity reconstructions of body and hands based on 3D Gaussians. The key contributions are twofold. First, we design a two-stage pose estimation method to obtain an accurate SMPL-X pose from input images, providing a correct mapping between the pixels of a training image and the SMPL-X model. It uses an attention-aware network and an optimization scheme to align the normal and silhouette between the estimated SMPL-X body and the real body in the image. Second, we propose an iterative re-initialization strategy to handle unbalanced aggregation and initialization bias faced by Gaussian representation. This strategy iteratively redistributes the avatar's Gaussian points, making it evenly distributed near the human body surface by applying meshing, resampling and re-Gaussian operations. As a result, higher-quality rendering can be achieved. Extensive experimental analyses validate the effectiveness of the proposed model, demonstrating that it achieves state-of-the-art performance in photorealistic novel view synthesis while offering fine-grained control over the human body and hand pose. Project page: https://3d-aigc.github.io/GEA/.
• Abstract（参考訳）: 本稿では,3次元ガウスアンに基づく体と手の高忠実度再構成による表現力のある3Dアバター作成手法であるGAAを提案する。 主な貢献は2つです。 まず、入力画像から正確なSMPL-Xポーズを得るための2段階ポーズ推定法を設計し、トレーニング画像の画素とSMPL-Xモデルとの正確なマッピングを提供する。 注意を意識したネットワークと最適化スキームを使用して、画像中の推定SMPL-X体と実物との間の正規とシルエットを整列する。 第2に,ガウス表現が直面する不均衡な集約と初期化バイアスに対処する反復的初期化戦略を提案する。 この戦略は、アバターのガウス点を反復的に再分配し、メッシュ化、再サンプリング、再ゲージ操作を施し、人体表面付近に均等に分布させる。 その結果、高品質なレンダリングが可能になる。 本モデルの有効性を実験的に検証し, 人体と手ポーズのきめ細かい制御を提供しながら, フォトリアリスティックな新規ビュー合成における最先端性能を実現することを実証した。 プロジェクトページ: https://3d-aigc.github.io/GEA/。

関連論文リスト

• Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
  本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:29:00Z)
• DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D Diffusion [69.67970568012599]
  テキストからアニマタブルな3Dアバター生成のための新しい学習フレームワークDreamWaltz-Gを提案する。 このフレームワークのコアはScore DistillationとHybrid 3D Gaussian Avatar表現にある。 我々のフレームワークは、人間のビデオ再現や多目的シーン構成など、多様なアプリケーションもサポートしています。
  論文  参考訳（メタデータ） (2024-09-25T17:59:45Z)
• Gaussian Deja-vu: Creating Controllable 3D Gaussian Head-Avatars with Enhanced Generalization and Personalization Abilities [10.816370283498287]
  本稿では,まず頭部アバターの一般化モデルを取得し,その結果をパーソナライズする「ガウスデジャヴ」(Gaussian Deja-vu)フレームワークを紹介する。 パーソナライズのために、ニューラルネットワークに頼らずに迅速に収束する学習可能な表現認識補正ブレンドマップを提案する。 最先端の3Dガウシアンヘッドアバターをフォトリアリスティックな品質で上回り、既存の方法の少なくとも4分の1のトレーニング時間を短縮する。
  論文  参考訳（メタデータ） (2024-09-23T00:11:30Z)
• FAGhead: Fully Animate Gaussian Head from Monocular Videos [2.9979421496374683]
  FAGheadは、モノクロビデオから完全に制御可能な人間の肖像画を可能にする方法である。 従来の3次元形状メッシュ(3DMM)を明示し,中性な3次元ガウス多様体を複素表現で再構成するために最適化する。 アバターのエッジを効果的に管理するために,各画素のアルファ値を監督するアルファレンダリングを導入した。
  論文  参考訳（メタデータ） (2024-06-27T10:40:35Z)
• UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
  メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。 我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
  論文  参考訳（メタデータ） (2024-03-18T09:03:56Z)
• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models [55.71306021041785]
  高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。 SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。 また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
  論文  参考訳（メタデータ） (2023-04-03T12:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。