論文の概要: PGAHum: Prior-Guided Geometry and Appearance Learning for High-Fidelity Animatable Human Reconstruction

• arxiv url: http://arxiv.org/abs/2404.13862v1
• Date: Mon, 22 Apr 2024 04:22:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 15:16:29.715140
• Title: PGAHum: Prior-Guided Geometry and Appearance Learning for High-Fidelity Animatable Human Reconstruction
• Title（参考訳）: PGAHum:高忠実アニマタブルな人体再構成のための事前ガイド付き幾何学と外観学習
• Authors: Hao Wang, Qingshan Xu, Hongyuan Chen, Rui Ma,
• Abstract要約: 我々はPGAHumを紹介した。PGAHumは、高忠実でアニマタブルな人体再構成のための、事前ガイダンス付き幾何学および外観学習フレームワークである。 我々はPGAHumの3つの主要モジュールにおける3次元人体前駆体を徹底的に利用し、複雑な細部と見えないポーズのフォトリアリスティックなビュー合成による高品質な幾何再構成を実現する。
• 参考スコア（独自算出の注目度）: 9.231326291897817
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent techniques on implicit geometry representation learning and neural rendering have shown promising results for 3D clothed human reconstruction from sparse video inputs. However, it is still challenging to reconstruct detailed surface geometry and even more difficult to synthesize photorealistic novel views with animated human poses. In this work, we introduce PGAHum, a prior-guided geometry and appearance learning framework for high-fidelity animatable human reconstruction. We thoroughly exploit 3D human priors in three key modules of PGAHum to achieve high-quality geometry reconstruction with intricate details and photorealistic view synthesis on unseen poses. First, a prior-based implicit geometry representation of 3D human, which contains a delta SDF predicted by a tri-plane network and a base SDF derived from the prior SMPL model, is proposed to model the surface details and the body shape in a disentangled manner. Second, we introduce a novel prior-guided sampling strategy that fully leverages the prior information of the human pose and body to sample the query points within or near the body surface. By avoiding unnecessary learning in the empty 3D space, the neural rendering can recover more appearance details. Last, we propose a novel iterative backward deformation strategy to progressively find the correspondence for the query point in observation space. A skinning weights prediction model is learned based on the prior provided by the SMPL model to achieve the iterative backward LBS deformation. Extensive quantitative and qualitative comparisons on various datasets are conducted and the results demonstrate the superiority of our framework. Ablation studies also verify the effectiveness of each scheme for geometry and appearance learning.
• Abstract（参考訳）: 暗黙的幾何表現学習とニューラルレンダリングの最近の技術は、スパースビデオ入力からの3次元人間の再構築に有望な結果を示している。 しかし、細かな表面形状を再構築することは依然として困難であり、アニメーションの人間のポーズでフォトリアリスティックなノベルビューを合成することはさらに困難である。 本研究では,PGAHumについて紹介する。PGAHumは,高忠実でアニマタブルな人体再構成のための幾何学的・外見的学習フレームワークである。 我々はPGAHumの3つの主要モジュールにおける3次元人体前駆体を徹底的に利用し、複雑な細部と見えないポーズのフォトリアリスティックなビュー合成による高品質な幾何再構成を実現する。 まず, 3次元平面ネットワークによって予測されるデルタSDFと, SMPLモデルから派生したベースSDFとを含む3次元人間の前向きの暗黙的幾何学的表現を提案し, 表面の細部と体形を非交互にモデル化する。 第2に、人間のポーズや身体の事前情報を十分に活用して、体表面内または体表面近傍の問合せ点をサンプリングする、新しい事前誘導サンプリング戦略を導入する。 空の3D空間で不要な学習を避けることで、ニューラルレンダリングはより詳細な外観を回復することができる。 最後に、観測空間における問合せ点の対応を段階的に見つけるために、新しい反復的後方変形戦略を提案する。 SMPLモデルによって提供される先行モデルに基づいてスキンウェイト予測モデルを学習し、反復的後方LBS変形を実現する。 各種データセットの定量的および定性的比較を行い,本フレームワークの優位性を実証した。 アブレーション研究は、幾何学と外見学習のための各スキームの有効性も検証している。

関連論文リスト

• G-NeRF: Geometry-enhanced Novel View Synthesis from Single-View Images [45.66479596827045]
  我々は,幾何誘導多視点合成手法により,幾何先行性を高めるための幾何強調型NeRF(G-NeRF)を提案する。 単一視点画像に対する多視点監視の欠如に対処するために,深度認識型トレーニングアプローチを設計する。
  論文  参考訳（メタデータ） (2024-04-11T04:58:18Z)
• GEM3D: GEnerative Medial Abstractions for 3D Shape Synthesis [25.594334301684903]
  GEM3Dは3次元形状の新しい深層トポロジ対応生成モデルである。 本手法の主な要素は,形状トポロジーと幾何学の両方の情報をコードする神経骨格に基づく表現である。 我々は,最先端技術と比較して,表面の忠実な再構築と多様な形状生成結果を示す。
  論文  参考訳（メタデータ） (2024-02-26T20:00:57Z)
• Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion Modeling [83.76377808476039]
  本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。 動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。 混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
  論文  参考訳（メタデータ） (2023-08-18T16:41:57Z)
• H4D: Human 4D Modeling by Learning Neural Compositional Representation [75.34798886466311]
  この研究は、動的人間に対するコンパクトで構成的な表現を効果的に学習できる新しい枠組みを提示する。 単純で効果的な線形運動モデルを提案し, 粗く規則化された動き推定を行う。 本手法は, 高精度な動作と詳細な形状を持つ動的ヒトの回復に有効であるだけでなく, 様々な4次元人間関連タスクにも有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-02T17:10:49Z)
• SIDER: Single-Image Neural Optimization for Facial Geometric Detail Recovery [54.64663713249079]
  SIDERは、教師なしの方法で単一の画像から詳細な顔形状を復元する新しい光度最適化手法である。 以前の作業とは対照的に、SIDERはデータセットの事前に依存せず、複数のビュー、照明変更、地上の真実の3D形状から追加の監視を必要としない。
  論文  参考訳（メタデータ） (2021-08-11T22:34:53Z)
• SCALE: Modeling Clothed Humans with a Surface Codec of Articulated Local Elements [62.652588951757764]
  衣服のモデル化と再構成は、調音性、非剛性変形、衣服の種類や地形の変化などにより困難である。 最近の研究では、ニューラルネットワークを使ってローカルな表面要素をパラメータ化している。 まず、人間の体モデルに基づいて表面要素を変形させます。 第2に,局所的な特徴から局所的な幾何学を回帰させることにより,既存の神経表面要素の制限を解消する。
  論文  参考訳（メタデータ） (2021-04-15T17:59:39Z)
• Learning 3D Face Reconstruction with a Pose Guidance Network [49.13404714366933]
  ポーズ誘導ネットワーク(PGN)を用いた単眼3次元顔再構成学習のための自己指導型学習手法を提案する。 まず,従来のパラメトリックな3次元顔の学習手法におけるポーズ推定のボトルネックを明らかにし,ポーズパラメータの推定に3次元顔のランドマークを活用することを提案する。 我々のデザインしたPGNでは、完全にラベル付けされた3Dランドマークと無制限にラベル付けされた未使用の顔画像で両方の顔から学習できる。
  論文  参考訳（メタデータ） (2020-10-09T06:11:17Z)
• Pix2Surf: Learning Parametric 3D Surface Models of Objects from Images [64.53227129573293]
  1つ以上の視点から見れば、新しいオブジェクトの3次元パラメトリック表面表現を学習する際の課題について検討する。 ビュー間で一貫した高品質なパラメトリックな3次元表面を生成できるニューラルネットワークを設計する。 提案手法は,共通対象カテゴリからの形状の公開データセットに基づいて,教師と訓練を行う。
  論文  参考訳（メタデータ） (2020-08-18T06:33:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。