論文の概要: HHAvatar: Gaussian Head Avatar with Dynamic Hairs

• arxiv url: http://arxiv.org/abs/2312.03029v3
• Date: Wed, 20 Nov 2024 12:32:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:10:00.549153
• Title: HHAvatar: Gaussian Head Avatar with Dynamic Hairs
• Title（参考訳）: HHAvatar:動的ハイアを備えたガウシアンヘッドアバター
• Authors: Zhanfeng Liao, Yuelang Xu, Zhe Li, Qijing Li, Boyao Zhou, Ruifeng Bai, Di Xu, Hongwen Zhang, Yebin Liu,
• Abstract要約: 動的ヘアモデリングを用いた高忠実度頭部アバターの3次元ガウスアン制御が可能なアバターを提案する。 提案手法は,2K解像度で超高忠実なレンダリング品質を実現するため,最先端のスパースビュー法よりも優れている。
• 参考スコア（独自算出の注目度）: 27.20228210350169
• License:
• Abstract: Creating high-fidelity 3D head avatars has always been a research hotspot, but it remains a great challenge under lightweight sparse view setups. In this paper, we propose HHAvatar represented by controllable 3D Gaussians for high-fidelity head avatar with dynamic hair modeling. We first use 3D Gaussians to represent the appearance of the head, and then jointly optimize neutral 3D Gaussians and a fully learned MLP-based deformation field to capture complex expressions. The two parts benefit each other, thereby our method can model fine-grained dynamic details while ensuring expression accuracy. Furthermore, we devise a well-designed geometry-guided initialization strategy based on implicit SDF and Deep Marching Tetrahedra for the stability and convergence of the training procedure. To address the problem of dynamic hair modeling, we introduce a hybrid head model into our avatar representation based Gaussian Head Avatar and a training method that considers timing information and an occlusion perception module to model the non-rigid motion of hair. Experiments show that our approach outperforms other state-of-the-art sparse-view methods, achieving ultra high-fidelity rendering quality at 2K resolution even under exaggerated expressions and driving hairs reasonably with the motion of the head
• Abstract（参考訳）: 高忠実度3Dヘッドアバターを作ることは、常に研究のホットスポットとなっている。 本稿では,動的ヘアモデリングを用いた高忠実度頭部アバターのための3次元ガウスアンで表現されたHHAvatarを提案する。 まず頭部の外観を表すために3Dガウスアンを使用し、さらに複雑な表現を捉えるために中性3Dガウスアンと完全に学習されたMLPに基づく変形場を共同最適化する。 そこで本手法は,表現精度を確保しつつ,微細な動的詳細をモデル化することができる。 さらに、暗黙のSDFとDeep Marching Tetrahedraに基づく幾何誘導初期化戦略を考案し、トレーニング手順の安定性と収束性について検討した。 動的ヘアモデリングの課題に対処するために,アバター表現に基づくガウスヘッドアバターにハイブリッドヘッドモデルを導入し,タイミング情報とオクルージョン認識モジュールを用いて毛髪の非剛性動作をモデル化する訓練手法を提案する。 実験により, 頭の動きに相応しいヘアを運転した場合においても, 2K解像度で超高精細レンダリングの精度を実現し, 従来のスパースビュー法よりも優れていたことが確認された。

関連論文リスト

• Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
  本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:29:00Z)
• Gaussian Deja-vu: Creating Controllable 3D Gaussian Head-Avatars with Enhanced Generalization and Personalization Abilities [10.816370283498287]
  本稿では,まず頭部アバターの一般化モデルを取得し,その結果をパーソナライズする「ガウスデジャヴ」(Gaussian Deja-vu)フレームワークを紹介する。 パーソナライズのために、ニューラルネットワークに頼らずに迅速に収束する学習可能な表現認識補正ブレンドマップを提案する。 最先端の3Dガウシアンヘッドアバターをフォトリアリスティックな品質で上回り、既存の方法の少なくとも4分の1のトレーニング時間を短縮する。
  論文  参考訳（メタデータ） (2024-09-23T00:11:30Z)
• GPHM: Gaussian Parametric Head Model for Monocular Head Avatar Reconstruction [47.113910048252805]
  高忠実度3D人間の頭部アバターは、VR/AR、デジタル人間、映画製作に不可欠である。 近年の進歩は、変形可能な顔モデルを利用して、様々なアイデンティティと表現を表現するアニメーションヘッドアバターを生成している。 本稿では,人間の頭部の複雑さを正確に表現するために,三次元ガウスを用いた3次元ガウスパラメトリックヘッドモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-21T06:03:11Z)
• FAGhead: Fully Animate Gaussian Head from Monocular Videos [2.9979421496374683]
  FAGheadは、モノクロビデオから完全に制御可能な人間の肖像画を可能にする方法である。 従来の3次元形状メッシュ(3DMM)を明示し,中性な3次元ガウス多様体を複素表現で再構成するために最適化する。 アバターのエッジを効果的に管理するために,各画素のアルファ値を監督するアルファレンダリングを導入した。
  論文  参考訳（メタデータ） (2024-06-27T10:40:35Z)
• GVA: Reconstructing Vivid 3D Gaussian Avatars from Monocular Videos [56.40776739573832]
  モノクロビデオ入力(GVA)から鮮明な3Dガウスアバターの作成を容易にする新しい手法を提案する。 私たちのイノベーションは、高忠実な人体再構築を実現するという、複雑な課題に対処することにあります。 通常の地図とシルエットを整列させて手足のポーズ精度を向上させるためにポーズ改善手法を提案する。
  論文  参考訳（メタデータ） (2024-02-26T14:40:15Z)
• GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
  ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。 本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。 提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
  論文  参考訳（メタデータ） (2023-12-18T18:59:12Z)
• MonoGaussianAvatar: Monocular Gaussian Point-based Head Avatar [44.125711148560605]
  モノガウスアバター(MonoGaussian Avatar)は、3次元ガウス点表現とガウス変形場を利用する新しいアプローチである。 実験により, 従来手法の最先端化を図り, 提案手法の優れた性能を実証した。
  論文  参考訳（メタデータ） (2023-12-07T18:59:31Z)
• GaussianHead: High-fidelity Head Avatars with Learnable Gaussian Derivation [35.39887092268696]
  本稿では, 異方性3次元ガウスモデルを用いて, 動作する人間の頭部をモデル化する枠組みを提案する。 実験では,高忠実度レンダリング,再現における最先端のアプローチ,クロスアイデンティティの再現,新しいビュー合成タスクを実現できる。
  論文  参考訳（メタデータ） (2023-12-04T05:24:45Z)
• Learning Personalized High Quality Volumetric Head Avatars from Monocular RGB Videos [47.94545609011594]
  本研究では,野生で撮影されたモノクロRGBビデオから高品質な3次元頭部アバターを学習する方法を提案する。 我々のハイブリッドパイプラインは、3DMMの幾何学的先行と動的追跡とニューラルラディアンス場を組み合わせることで、きめ細かい制御とフォトリアリズムを実現する。
  論文  参考訳（メタデータ） (2023-04-04T01:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。