論文の概要: Deformable Model Driven Neural Rendering for High-fidelity 3D Reconstruction of Human Heads Under Low-View Settings

• arxiv url: http://arxiv.org/abs/2303.13855v1
• Date: Fri, 24 Mar 2023 08:32:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 15:17:08.696070
• Title: Deformable Model Driven Neural Rendering for High-fidelity 3D Reconstruction of Human Heads Under Low-View Settings
• Title（参考訳）: 変形性モデル駆動型ニューラルレンダリングによる低視野環境下での頭部の高忠実度3次元再構成
• Authors: Baixin Xu, Jiarui Zhang, Kwan-Yee Lin, Chen Qian and Ying He
• Abstract要約: 低視点入力から高忠実度幾何で3次元頭部を再構成する神経暗黙関数の頑健な学習法を提案する。 我々は3次元人間の頭部を、スムーズなテンプレート、非剛性変形、高周波変位場からなる符号付き距離場のゼロレベルセットとして表現する。 実験により, 幾何分解と2段階の訓練により, 提案手法は頑健であり, 低視点環境下での再現精度と新規ビュー合成の点で, 既存手法よりも優れることが示された。
• 参考スコア（独自算出の注目度）: 20.798357829341022
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a robust method for learning neural implicit functions that can reconstruct 3D human heads with high-fidelity geometry from low-view inputs. We represent 3D human heads as the zero level-set of a composed signed distance field that consists of a smooth template, a non-rigid deformation, and a high-frequency displacement field. The template represents identity-independent and expression-neutral features, which is trained on multiple individuals, along with the deformation network. The displacement field encodes identity-dependent geometric details, trained for each specific individual. We train our network in two stages using a coarse-to-fine strategy without 3D supervision. Our experiments demonstrate that the geometry decomposition and two-stage training make our method robust and our model outperforms existing methods in terms of reconstruction accuracy and novel view synthesis under low-view settings. Additionally, the pre-trained template serves a good initialization for our model to adapt to unseen individuals.
• Abstract（参考訳）: 低視点入力から高忠実度幾何で3次元頭部を再構成する神経暗黙関数の頑健な学習法を提案する。 我々は3次元人間の頭部を、スムーズなテンプレート、非剛性変形、高周波変位場からなる符号付き距離場のゼロレベルセットとして表現する。 テンプレートは、変形ネットワークとともに複数の個人でトレーニングされるアイデンティティ非依存および表現ニュートラルの特徴を表す。 変位場は、個人ごとに訓練されたアイデンティティ依存の幾何学的詳細を符号化する。 我々は3Dの監督なしに粗大な戦略を用いてネットワークを2段階に訓練する。 実験により, 幾何分解と2段階の訓練により, 提案手法は頑健であり, 低視点環境下での再現精度と新規ビュー合成の点で, 既存手法よりも優れることが示された。 さらに、事前学習されたテンプレートは、私たちのモデルが目に見えない個人に適応するための適切な初期化に役立ちます。

関連論文リスト

• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• MultiPly: Reconstruction of Multiple People from Monocular Video in the Wild [32.6521941706907]
  モノクラーインザワイルドビデオから3Dで複数の人物を再構成する新しいフレームワークであるMultiPlyを提案する。 まず、シーン全体の階層化されたニューラル表現を定義し、個々の人間と背景モデルで合成する。 階層化可能なボリュームレンダリングを通じて,ビデオから階層化ニューラル表現を学習する。
  論文  参考訳（メタデータ） (2024-06-03T17:59:57Z)
• Preface: A Data-driven Volumetric Prior for Few-shot Ultra High-resolution Face Synthesis [0.0]
  NeRFは、複雑な外観や毛髪と皮膚の反射効果を含む、人間の顔の非常に現実的な合成を可能にした。 本稿では,前者のトレーニング分布の一部ではない被験者の超高解像度な新しい視点の合成を可能にする,新しいヒューマン・フェイス・プレファレンスを提案する。
  論文  参考訳（メタデータ） (2023-09-28T21:21:44Z)
• Learning Neural Parametric Head Models [7.679586286000453]
  そこで本研究では,ハイブリッドニューラルネットワークを用いた人間の頭部の3次元形状モデルを提案する。 我々は,手動距離場(SDF)として標準空間内の人物の身元を捉え,ニューラルな変形場を持つ表情をモデル化する。 我々の表現は、顔のアンカーポイントを中心とした局所フィールドのアンサンブルを導入することで、高忠実な局所詳細を実現する。
  論文  参考訳（メタデータ） (2022-12-06T05:24:42Z)
• NeuralReshaper: Single-image Human-body Retouching with Deep Neural Networks [50.40798258968408]
  本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。 われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。 ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
  論文  参考訳（メタデータ） (2022-03-20T09:02:13Z)
• Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
  本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。 提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
  論文  参考訳（メタデータ） (2021-08-30T19:45:07Z)
• H3D-Net: Few-Shot High-Fidelity 3D Head Reconstruction [27.66008315400462]
  表面形状を暗黙的に表現する最近の学習手法は、多視点3次元再構成の問題において顕著な結果を示している。 我々はこれらの制限を,数発のフル3次元頭部再構成の特定の問題に対処する。 暗黙の表現を用いて,数千個の不完全な生スキャンから3次元頭部形状モデルを学習する。
  論文  参考訳（メタデータ） (2021-07-26T23:04:18Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)
• Shape My Face: Registering 3D Face Scans by Surface-to-Surface Translation [75.59415852802958]
  Shape-My-Face (SMF) は、改良されたポイントクラウドエンコーダ、新しい視覚的注意機構、スキップ接続付きグラフ畳み込みデコーダ、特殊口モデルに基づく強力なエンコーダデコーダアーキテクチャである。 私たちのモデルは、トポロジカルにサウンドメッシュを最小限の監視で提供し、より高速なトレーニング時間を提供し、訓練可能なパラメータを桁違いに減らし、ノイズに強く、以前は見られないデータセットに一般化することができます。
  論文  参考訳（メタデータ） (2020-12-16T20:02:36Z)
• Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
  入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。 我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。 我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
  論文  参考訳（メタデータ） (2020-08-16T13:38:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。