論文の概要: MeGA: Hybrid Mesh-Gaussian Head Avatar for High-Fidelity Rendering and Head Editing
- arxiv url: http://arxiv.org/abs/2404.19026v1
- Date: Mon, 29 Apr 2024 18:10:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-01 18:19:58.274775
- Title: MeGA: Hybrid Mesh-Gaussian Head Avatar for High-Fidelity Rendering and Head Editing
- Title（参考訳）: MeGA:ハイファイダリティレンダリングとヘッド編集のためのハイブリッドメッシュ・ガウスヘッドアバター
- Authors: Cong Wang, Di Kang, He-Yi Sun, Shen-Han Qian, Zi-Xuan Wang, Linchao Bao, Song-Hai Zhang,
- Abstract要約: より適切な表現で異なるヘッドコンポーネントをモデル化するハイブリッドメッシュ・ガウスヘッドアバター(MeGA)を提案する。
MeGAは、ヘッド全体の高忠実度レンダリングを生成し、自然に下流タスクをサポートする。
NeRSembleデータセットの実験は、我々の設計の有効性を実証している。
- 参考スコア（独自算出の注目度）: 34.31657241047574
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Creating high-fidelity head avatars from multi-view videos is a core issue for many AR/VR applications. However, existing methods usually struggle to obtain high-quality renderings for all different head components simultaneously since they use one single representation to model components with drastically different characteristics (e.g., skin vs. hair). In this paper, we propose a Hybrid Mesh-Gaussian Head Avatar (MeGA) that models different head components with more suitable representations. Specifically, we select an enhanced FLAME mesh as our facial representation and predict a UV displacement map to provide per-vertex offsets for improved personalized geometric details. To achieve photorealistic renderings, we obtain facial colors using deferred neural rendering and disentangle neural textures into three meaningful parts. For hair modeling, we first build a static canonical hair using 3D Gaussian Splatting. A rigid transformation and an MLP-based deformation field are further applied to handle complex dynamic expressions. Combined with our occlusion-aware blending, MeGA generates higher-fidelity renderings for the whole head and naturally supports more downstream tasks. Experiments on the NeRSemble dataset demonstrate the effectiveness of our designs, outperforming previous state-of-the-art methods and supporting various editing functionalities, including hairstyle alteration and texture editing.
- Abstract（参考訳）: マルチビュービデオから高忠実度ヘッドアバターを作成することは、多くのAR/VRアプリケーションの中核的な問題である。
しかし、既存の手法では、異なる特徴(例えば、皮膚と毛髪)をモデル化するために1つの単一の表現を使用するため、すべての異なるヘッドコンポーネントの高品質なレンダリングを同時に取得するのに苦労する。
本稿では,より適切な表現で異なる頭部成分をモデル化するハイブリッドメッシュ・ガウスヘッドアバター(MeGA)を提案する。
具体的には、拡張FLAMEメッシュを顔表現として選択し、UV変位マップを予測して、パーソナライズされた幾何学的詳細を改善するために頂点ごとのオフセットを提供する。
光リアリスティックなレンダリングを実現するために、遅延したニューラルレンダリングと3つの意味のある部分に切り離されたニューラルテクスチャを用いて顔色を得る。
ヘアモデリングでは,まず3次元ガウススプラッティングを用いて静的な標準髪を製作する。
さらに、複雑な動的表現を扱うために、剛体変換とMLPに基づく変形場を適用した。
閉塞認識ブレンディングと組み合わせて、MeGAは頭部全体の高忠実度レンダリングを生成し、下流タスクを自然にサポートする。
NeRSembleデータセットの実験は、我々のデザインの有効性を実証し、従来の最先端手法より優れ、髪型変更やテクスチャ編集など様々な編集機能をサポートしています。
関連論文リスト
- Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。
我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。
提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-10T14:29:00Z) - GPHM: Gaussian Parametric Head Model for Monocular Head Avatar Reconstruction [47.113910048252805]
高忠実度3D人間の頭部アバターは、VR/AR、デジタル人間、映画製作に不可欠である。
近年の進歩は、変形可能な顔モデルを利用して、様々なアイデンティティと表現を表現するアニメーションヘッドアバターを生成している。
本稿では,人間の頭部の複雑さを正確に表現するために,三次元ガウスを用いた3次元ガウスパラメトリックヘッドモデルを提案する。
論文 参考訳（メタデータ） (2024-07-21T06:03:11Z) - NPGA: Neural Parametric Gaussian Avatars [46.52887358194364]
マルチビュー映像記録から高忠実度制御可能なアバターを作成するためのデータ駆動方式を提案する。
我々は,高効率なレンダリングのための3次元ガウススプラッティングの手法を構築し,点雲のトポロジカルな柔軟性を継承する。
提案手法をNeRSembleデータセット上で評価し,NPGAが従来の自己再現タスクの2.6PSNRよりも有意に優れていたことを示す。
論文 参考訳（メタデータ） (2024-05-29T17:58:09Z) - Gaussian Head & Shoulders: High Fidelity Neural Upper Body Avatars with Anchor Gaussian Guided Texture Warping [12.308192525760667]
既存のメソッドは、ボディなしでヘッドを再構築するだけで、アプリケーションのシナリオが大幅に制限される。
本稿では,粗い色とポーズ依存の微細な色からなる神経テクスチャを用いて,身体の部位をモデル化することを提案する。
ガウシアンヘッド&ショルダーは, 衣服上半身の高周波細部を高い忠実度で適合させ, 頭部領域の精度と忠実度を向上できる可能性が示唆された。
論文 参考訳（メタデータ） (2024-05-20T14:39:49Z) - GeneAvatar: Generic Expression-Aware Volumetric Head Avatar Editing from a Single Image [89.70322127648349]
本稿では,多種多様な3DMM駆動ヘッドアバターに適用可能な汎用的なアバター編集手法を提案する。
この目的を達成するために、単一の画像から一貫した3D修正フィールドへのリフト2D編集を可能にする新しい表現対応修正生成モデルを設計する。
論文 参考訳（メタデータ） (2024-04-02T17:58:35Z) - Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。
提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
論文 参考訳（メタデータ） (2024-03-18T04:01:26Z) - PSAvatar: A Point-based Shape Model for Real-Time Head Avatar Animation with 3D Gaussian Splatting [17.78639236586134]
PSAvatarは、アニマタブルヘッドアバター作成のための新しいフレームワークである。
詳細な表現と高忠実度レンダリングに3D Gaussian を使用している。
PSAvatarは多種多様な被験者の高忠実度頭部アバターを再構築でき、リアルタイムでアバターをアニメーションできることを示す。
論文 参考訳（メタデータ） (2024-01-23T16:40:47Z) - HHAvatar: Gaussian Head Avatar with Dynamic Hairs [27.20228210350169]
動的ヘアモデリングを用いた高忠実度頭部アバターの3次元ガウスアン制御が可能なアバターを提案する。
提案手法は,2K解像度で超高忠実なレンダリング品質を実現するため,最先端のスパースビュー法よりも優れている。
論文 参考訳（メタデータ） (2023-12-05T11:01:44Z) - Generalizable One-shot Neural Head Avatar [90.50492165284724]
本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。
本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-14T22:33:09Z) - HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。
本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。
テスト時,本手法は単眼のRGBビデオによって駆動される。
論文 参考訳（メタデータ） (2023-03-25T13:56:33Z) - HVTR: Hybrid Volumetric-Textural Rendering for Human Avatars [65.82222842213577]
本稿では,任意のポーズから人間の仮想アバターを効率よく,高品質に合成するニューラルレンダリングパイプラインを提案する。
まず,人体表面の高密度UV多様体上での人間の動きを符号化する。
次に、UV多様体上の符号化情報を利用して、3次元体積表現を構成する。
論文 参考訳（メタデータ） (2021-12-19T17:34:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。