論文の概要: FAGhead: Fully Animate Gaussian Head from Monocular Videos
- arxiv url: http://arxiv.org/abs/2406.19070v1
- Date: Thu, 27 Jun 2024 10:40:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-28 14:27:46.540566
- Title: FAGhead: Fully Animate Gaussian Head from Monocular Videos
- Title(参考訳): FAGhead:モノクロビデオで見るガウシアンな顔
- Authors: Yixin Xuan, Xinyang Li, Gongxin Yao, Shiwei Zhou, Donghui Sun, Xiaoxin Chen, Yu Pan,
- Abstract要約: FAGheadは、モノクロビデオから完全に制御可能な人間の肖像画を可能にする方法である。
従来の3次元形状メッシュ(3DMM)を明示し,中性な3次元ガウス多様体を複素表現で再構成するために最適化する。
アバターのエッジを効果的に管理するために,各画素のアルファ値を監督するアルファレンダリングを導入した。
- 参考スコア(独自算出の注目度): 2.9979421496374683
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-fidelity reconstruction of 3D human avatars has a wild application in visual reality. In this paper, we introduce FAGhead, a method that enables fully controllable human portraits from monocular videos. We explicit the traditional 3D morphable meshes (3DMM) and optimize the neutral 3D Gaussians to reconstruct with complex expressions. Furthermore, we employ a novel Point-based Learnable Representation Field (PLRF) with learnable Gaussian point positions to enhance reconstruction performance. Meanwhile, to effectively manage the edges of avatars, we introduced the alpha rendering to supervise the alpha value of each pixel. Extensive experimental results on the open-source datasets and our capturing datasets demonstrate that our approach is able to generate high-fidelity 3D head avatars and fully control the expression and pose of the virtual avatars, which is outperforming than existing works.
- Abstract(参考訳): 3次元人間のアバターの高忠実な再構成は、視覚的現実に野生の応用をもたらす。
本稿では,モノクロ映像から人間の肖像画を完全に制御できるFAGheadを紹介する。
従来の3次元形状メッシュ(3DMM)を明示し,中性な3次元ガウス多様体を複素表現で再構成するために最適化する。
さらに,学習可能なガウス点位置を持つポイントベース学習可能表現場 (PLRF) を用いて再構成性能を向上させる。
一方,アバターのエッジを効果的に管理するために,各画素のアルファ値を監督するアルファレンダリングを導入した。
オープンソースデータセットとキャプチャデータセットの大規模な実験結果から、我々のアプローチは高忠実度3Dヘッドアバターを生成し、既存の作業よりも優れた仮想アバターの表現とポーズを完全に制御できることを示した。
関連論文リスト
- 3D Gaussian Parametric Head Model [40.62136721707944]
本稿では,人間の頭部の複雑さを正確に表現するために3次元ガウス的パラメトリックヘッドモデルを提案する。
シームレスな顔のポートレートと、単一の画像から詳細な頭部アバターの再構築を可能にする。
提案手法は,高画質でリアルタイムな実写レンダリングを実現し,パラメトリックヘッドモデルの分野に有意義な貢献をする。
論文 参考訳(メタデータ) (2024-07-21T06:03:11Z) - NPGA: Neural Parametric Gaussian Avatars [46.52887358194364]
マルチビュー映像記録から高忠実度制御可能なアバターを作成するためのデータ駆動方式を提案する。
我々は高効率なレンダリングのために3次元ガウススプラッティングを中心に手法を構築した。
提案手法をNeRSembleデータセット上で評価し,NPGAが従来の最先端アバターよりも優れていたことを示す。
論文 参考訳(メタデータ) (2024-05-29T17:58:09Z) - GVA: Reconstructing Vivid 3D Gaussian Avatars from Monocular Videos [56.40776739573832]
モノクロビデオ入力(GVA)から鮮明な3Dガウスアバターの作成を容易にする新しい手法を提案する。
私たちのイノベーションは、高忠実な人体再構築を実現するという、複雑な課題に対処することにあります。
通常の地図とシルエットを整列させて手足のポーズ精度を向上させるためにポーズ改善手法を提案する。
論文 参考訳(メタデータ) (2024-02-26T14:40:15Z) - Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。
ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。
当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
論文 参考訳(メタデータ) (2023-12-22T20:56:46Z) - MonoGaussianAvatar: Monocular Gaussian Point-based Head Avatar [44.125711148560605]
モノガウスアバター(MonoGaussian Avatar)は、3次元ガウス点表現とガウス変形場を利用する新しいアプローチである。
実験により, 従来手法の最先端化を図り, 提案手法の優れた性能を実証した。
論文 参考訳(メタデータ) (2023-12-07T18:59:31Z) - Gaussian3Diff: 3D Gaussian Diffusion for 3D Full Head Synthesis and
Editing [53.05069432989608]
本稿では,3次元人間の頭部を顕著な柔軟性で生成するための新しい枠組みを提案する。
本手法は,顔の特徴や表情を微妙に編集した多彩でリアルな3次元頭部の作成を容易にする。
論文 参考訳(メタデータ) (2023-12-05T19:05:58Z) - Gaussian Head Avatar: Ultra High-fidelity Head Avatar via Dynamic Gaussians [41.86540576028268]
軽量なスパースビュー設定のための制御可能な3次元ガウスヘッドアバターを提案する。
提案手法は,超過大表現下でも2K解像度での超高忠実なレンダリング品質を実現するため,最先端のスパースビュー法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-12-05T11:01:44Z) - GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians [51.46168990249278]
一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。
GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
論文 参考訳(メタデータ) (2023-12-04T18:55:45Z) - Learning Personalized High Quality Volumetric Head Avatars from
Monocular RGB Videos [47.94545609011594]
本研究では,野生で撮影されたモノクロRGBビデオから高品質な3次元頭部アバターを学習する方法を提案する。
我々のハイブリッドパイプラインは、3DMMの幾何学的先行と動的追跡とニューラルラディアンス場を組み合わせることで、きめ細かい制御とフォトリアリズムを実現する。
論文 参考訳(メタデータ) (2023-04-04T01:10:04Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-03-29T17:59:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。