論文の概要: Gaussian Head & Shoulders: High Fidelity Neural Upper Body Avatars with Anchor Gaussian Guided Texture Warping
- arxiv url: http://arxiv.org/abs/2405.12069v2
- Date: Tue, 21 May 2024 15:06:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-22 12:20:58.589083
- Title: Gaussian Head & Shoulders: High Fidelity Neural Upper Body Avatars with Anchor Gaussian Guided Texture Warping
- Title（参考訳）: Anchor Gaussian Guided Texture Warping を用いた高忠実度神経上半身アバター
- Authors: Tianhao Wu, Jing Yang, Zhilin Guo, Jingyi Wan, Fangcheng Zhong, Cengiz Oztireli,
- Abstract要約: 既存のメソッドは、ボディなしでヘッドを再構築するだけで、アプリケーションのシナリオが大幅に制限される。
本稿では,粗い色とポーズ依存の微細な色からなる神経テクスチャを用いて,身体の部位をモデル化することを提案する。
ガウシアンヘッド&ショルダーは, 衣服上半身の高周波細部を高い忠実度で適合させ, 頭部領域の精度と忠実度を向上できる可能性が示唆された。
- 参考スコア（独自算出の注目度）: 12.308192525760667
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: By equipping the most recent 3D Gaussian Splatting representation with head 3D morphable models (3DMM), existing methods manage to create head avatars with high fidelity. However, most existing methods only reconstruct a head without the body, substantially limiting their application scenarios. We found that naively applying Gaussians to model the clothed chest and shoulders tends to result in blurry reconstruction and noisy floaters under novel poses. This is because of the fundamental limitation of Gaussians and point clouds -- each Gaussian or point can only have a single directional radiance without spatial variance, therefore an unnecessarily large number of them is required to represent complicated spatially varying texture, even for simple geometry. In contrast, we propose to model the body part with a neural texture that consists of coarse and pose-dependent fine colors. To properly render the body texture for each view and pose without accurate geometry nor UV mapping, we optimize another sparse set of Gaussians as anchors that constrain the neural warping field that maps image plane coordinates to the texture space. We demonstrate that Gaussian Head & Shoulders can fit the high-frequency details on the clothed upper body with high fidelity and potentially improve the accuracy and fidelity of the head region. We evaluate our method with casual phone-captured and internet videos and show our method archives superior reconstruction quality and robustness in both self and cross reenactment tasks. To fully utilize the efficient rendering speed of Gaussian splatting, we additionally propose an accelerated inference method of our trained model without Multi-Layer Perceptron (MLP) queries and reach a stable rendering speed of around 130 FPS for any subjects.
- Abstract（参考訳）: 最新の3次元ガウススプティング表現を3次元モルファスモデル(3DMM)と組み合わせることで、既存の手法は高忠実度で頭部アバターを作成することができる。
しかしながら、既存のほとんどのメソッドは、ボディなしでヘッドを再構築するだけで、アプリケーションのシナリオを著しく制限します。
胸部・肩部モデルにガウシアンを意識的に応用すると, 新規なポーズ下では, ぼやけた再建やうるさびが生じる傾向がみられた。
これはガウス雲と点雲の基本的な制限のためであり、各ガウス雲または点は空間的分散なしに単一の方向の放射しか持たないため、単純な幾何学においても複雑な空間的変化のテクスチャを表現するために必要となる大量のものが必要である。
対照的に、粗い色とポーズ依存の微妙な色からなる神経テクスチャで身体部分をモデル化することを提案する。
画像平面座標をテクスチャ空間にマッピングするニューラルワープフィールドを制約するアンカーとして、各ビューのボディーテクスチャを適切にレンダリングし、正確な幾何学やUVマッピングを使わずに、別の粗いガウスの集合を最適化する。
ガウシアンヘッド&ショルダーは, 被服上半身の高周波細部を高い忠実度で適合させ, 頭部領域の精度と忠実度を向上できる可能性が示唆された。
提案手法をカジュアルな電話・インターネットビデオを用いて評価し, 自己・横断的再現作業において, 再現性や堅牢性に優れることを示す。
さらに,マルチ層パーセプトロン (MLP) クエリを使わずにトレーニングしたモデルの高速化推論手法を提案する。
関連論文リスト
- 3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes [87.01284850604495]
多視点画像から幾何学的に有意な放射場をモデル化するためのプリミティブとして3次元滑らかな凸を利用した3次元凸法(3DCS)を提案する。
3DCSは、MipNeizer, Tanks and Temples, Deep Blendingなどのベンチマークで、3DGSよりも優れたパフォーマンスを実現している。
本結果は,高品質なシーン再構築のための新しい標準となる3Dコンベクシングの可能性を強調した。
論文 参考訳（メタデータ） (2024-11-22T14:31:39Z) - Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。
我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。
提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-10T14:29:00Z) - GPHM: Gaussian Parametric Head Model for Monocular Head Avatar Reconstruction [47.113910048252805]
高忠実度3D人間の頭部アバターは、VR/AR、デジタル人間、映画製作に不可欠である。
近年の進歩は、変形可能な顔モデルを利用して、様々なアイデンティティと表現を表現するアニメーションヘッドアバターを生成している。
本稿では,人間の頭部の複雑さを正確に表現するために,三次元ガウスを用いた3次元ガウスパラメトリックヘッドモデルを提案する。
論文 参考訳（メタデータ） (2024-07-21T06:03:11Z) - MeGA: Hybrid Mesh-Gaussian Head Avatar for High-Fidelity Rendering and Head Editing [34.31657241047574]
より適切な表現で異なるヘッドコンポーネントをモデル化するハイブリッドメッシュ・ガウスヘッドアバター(MeGA)を提案する。
MeGAは、ヘッド全体の高忠実度レンダリングを生成し、自然に下流タスクをサポートする。
NeRSembleデータセットの実験は、我々の設計の有効性を実証している。
論文 参考訳（メタデータ） (2024-04-29T18:10:12Z) - Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。
提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
論文 参考訳（メタデータ） (2024-03-18T04:01:26Z) - GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。
本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。
提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
論文 参考訳（メタデータ） (2023-12-18T18:59:12Z) - Gaussian3Diff: 3D Gaussian Diffusion for 3D Full Head Synthesis and
Editing [53.05069432989608]
本稿では,3次元人間の頭部を顕著な柔軟性で生成するための新しい枠組みを提案する。
本手法は,顔の特徴や表情を微妙に編集した多彩でリアルな3次元頭部の作成を容易にする。
論文 参考訳（メタデータ） (2023-12-05T19:05:58Z) - HHAvatar: Gaussian Head Avatar with Dynamic Hairs [27.20228210350169]
動的ヘアモデリングを用いた高忠実度頭部アバターの3次元ガウスアン制御が可能なアバターを提案する。
提案手法は,2K解像度で超高忠実なレンダリング品質を実現するため,最先端のスパースビュー法よりも優れている。
論文 参考訳（メタデータ） (2023-12-05T11:01:44Z) - GaussianHead: High-fidelity Head Avatars with Learnable Gaussian Derivation [35.39887092268696]
本稿では, 異方性3次元ガウスモデルを用いて, 動作する人間の頭部をモデル化する枠組みを提案する。
実験では,高忠実度レンダリング,再現における最先端のアプローチ,クロスアイデンティティの再現,新しいビュー合成タスクを実現できる。
論文 参考訳（メタデータ） (2023-12-04T05:24:45Z) - HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。
本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。
テスト時,本手法は単眼のRGBビデオによって駆動される。
論文 参考訳（メタデータ） (2023-03-25T13:56:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。