論文の概要: MonoGaussianAvatar: Monocular Gaussian Point-based Head Avatar
- arxiv url: http://arxiv.org/abs/2312.04558v1
- Date: Thu, 7 Dec 2023 18:59:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 13:21:10.145593
- Title: MonoGaussianAvatar: Monocular Gaussian Point-based Head Avatar
- Title（参考訳）: MonoGaussian Avatar:単眼ガウス点に基づく頭部アバター
- Authors: Yufan Chen, Lizhen Wang, Qijing Li, Hongjiang Xiao, Shengping Zhang,
Hongxun Yao, Yebin Liu
- Abstract要約: モノガウスアバター(MonoGaussian Avatar)は、3次元ガウス点表現とガウス変形場を利用する新しいアプローチである。
実験により, 従来手法の最先端化を図り, 提案手法の優れた性能を実証した。
- 参考スコア（独自算出の注目度）: 44.125711148560605
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to animate photo-realistic head avatars reconstructed from
monocular portrait video sequences represents a crucial step in bridging the
gap between the virtual and real worlds. Recent advancements in head avatar
techniques, including explicit 3D morphable meshes (3DMM), point clouds, and
neural implicit representation have been exploited for this ongoing research.
However, 3DMM-based methods are constrained by their fixed topologies,
point-based approaches suffer from a heavy training burden due to the extensive
quantity of points involved, and the last ones suffer from limitations in
deformation flexibility and rendering efficiency. In response to these
challenges, we propose MonoGaussianAvatar (Monocular Gaussian Point-based Head
Avatar), a novel approach that harnesses 3D Gaussian point representation
coupled with a Gaussian deformation field to learn explicit head avatars from
monocular portrait videos. We define our head avatars with Gaussian points
characterized by adaptable shapes, enabling flexible topology. These points
exhibit movement with a Gaussian deformation field in alignment with the target
pose and expression of a person, facilitating efficient deformation.
Additionally, the Gaussian points have controllable shape, size, color, and
opacity combined with Gaussian splatting, allowing for efficient training and
rendering. Experiments demonstrate the superior performance of our method,
which achieves state-of-the-art results among previous methods.
- Abstract（参考訳）: 光リアルな頭部アバターを単眼のポートレートビデオシーケンスから再現する能力は、仮想世界と現実世界のギャップを埋める上で重要なステップである。
頭部アバター技術における最近の進歩として、明示的な3d morphable mesh(3dmm)、点雲、神経暗黙的表現が研究に利用されている。
しかし、3dmmベースの手法は固定トポロジーによって制約されており、ポイントベースアプローチは大量のポイントが絡むためトレーニングの負担が重く、最後の手法は変形の柔軟性とレンダリング効率の制限に苦しめられている。
そこで本研究では,ガウス的変形場と3次元ガウス的点表現を結合した新しいアプローチとして,モノガウス的視点に基づく頭部アバター(monogaussianavatar,単眼的ガウス的視点に基づく頭部アバター)を提案する。
我々は,適応可能な形状を特徴とするガウス点を持つ頭部アバターを定義し,柔軟なトポロジーを実現する。
これらの点が目的のポーズや表現と一致してガウス変形場を有する動きを示し、効率的な変形を容易にする。
さらにガウス点の形状、大きさ、色、不透明度はガウススプラッティングと組み合わせて制御可能であり、効率的なトレーニングとレンダリングを可能にしている。
提案手法は従来手法よりも優れた性能を示し,最新の結果を得た。
関連論文リスト
- Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。
我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。
提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-10T14:29:00Z) - FAGhead: Fully Animate Gaussian Head from Monocular Videos [2.9979421496374683]
FAGheadは、モノクロビデオから完全に制御可能な人間の肖像画を可能にする方法である。
従来の3次元形状メッシュ(3DMM)を明示し,中性な3次元ガウス多様体を複素表現で再構成するために最適化する。
アバターのエッジを効果的に管理するために,各画素のアルファ値を監督するアルファレンダリングを導入した。
論文 参考訳（メタデータ） (2024-06-27T10:40:35Z) - NPGA: Neural Parametric Gaussian Avatars [46.52887358194364]
マルチビュー映像記録から高忠実度制御可能なアバターを作成するためのデータ駆動方式を提案する。
我々は,高効率なレンダリングのための3次元ガウススプラッティングの手法を構築し,点雲のトポロジカルな柔軟性を継承する。
提案手法をNeRSembleデータセット上で評価し,NPGAが従来の自己再現タスクの2.6PSNRよりも有意に優れていたことを示す。
論文 参考訳（メタデータ） (2024-05-29T17:58:09Z) - Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。
ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。
当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
論文 参考訳（メタデータ） (2023-12-22T20:56:46Z) - GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。
本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。
提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
論文 参考訳（メタデータ） (2023-12-18T18:59:12Z) - Gaussian3Diff: 3D Gaussian Diffusion for 3D Full Head Synthesis and
Editing [53.05069432989608]
本稿では,3次元人間の頭部を顕著な柔軟性で生成するための新しい枠組みを提案する。
本手法は,顔の特徴や表情を微妙に編集した多彩でリアルな3次元頭部の作成を容易にする。
論文 参考訳（メタデータ） (2023-12-05T19:05:58Z) - Gaussian Head Avatar: Ultra High-fidelity Head Avatar via Dynamic Gaussians [41.86540576028268]
軽量なスパースビュー設定のための制御可能な3次元ガウスヘッドアバターを提案する。
提案手法は,超過大表現下でも2K解像度での超高忠実なレンダリング品質を実現するため,最先端のスパースビュー法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-12-05T11:01:44Z) - GaussianHead: High-fidelity Head Avatars with Learnable Gaussian Derivation [35.39887092268696]
本稿では, 異方性3次元ガウスモデルを用いて, 動作する人間の頭部をモデル化する枠組みを提案する。
実験では,高忠実度レンダリング,再現における最先端のアプローチ,クロスアイデンティティの再現,新しいビュー合成タスクを実現できる。
論文 参考訳（メタデータ） (2023-12-04T05:24:45Z) - I M Avatar: Implicit Morphable Head Avatars from Videos [68.13409777995392]
モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。
従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。
本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
論文 参考訳（メタデータ） (2021-12-14T15:30:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。