論文の概要: Deformable Model-Driven Neural Rendering for High-Fidelity 3D
Reconstruction of Human Heads Under Low-View Settings
- arxiv url: http://arxiv.org/abs/2303.13855v2
- Date: Thu, 17 Aug 2023 09:33:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 00:25:26.524072
- Title: Deformable Model-Driven Neural Rendering for High-Fidelity 3D
Reconstruction of Human Heads Under Low-View Settings
- Title（参考訳）: 変形性モデル駆動型ニューラルレンダリングによる低視野環境下での頭部の高精度3次元再構成
- Authors: Baixin Xu, Jiarui Zhang, Kwan-Yee Lin, Chen Qian and Ying He
- Abstract要約: 低視点で3Dの頭部を再構築することは技術的な課題を呈する。
幾何学的分解を提案し、2段階の粗大なトレーニング戦略を採用する。
提案手法は,低視野環境下での再現精度と新規ビュー合成の観点から,既存のニューラルレンダリング手法より優れる。
- 参考スコア（独自算出の注目度）: 20.07788905506271
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing 3D human heads in low-view settings presents technical
challenges, mainly due to the pronounced risk of overfitting with limited views
and high-frequency signals. To address this, we propose geometry decomposition
and adopt a two-stage, coarse-to-fine training strategy, allowing for
progressively capturing high-frequency geometric details. We represent 3D human
heads using the zero level-set of a combined signed distance field, comprising
a smooth template, a non-rigid deformation, and a high-frequency displacement
field. The template captures features that are independent of both identity and
expression and is co-trained with the deformation network across multiple
individuals with sparse and randomly selected views. The displacement field,
capturing individual-specific details, undergoes separate training for each
person. Our network training does not require 3D supervision or object masks.
Experimental results demonstrate the effectiveness and robustness of our
geometry decomposition and two-stage training strategy. Our method outperforms
existing neural rendering approaches in terms of reconstruction accuracy and
novel view synthesis under low-view settings. Moreover, the pre-trained
template serves a good initialization for our model when encountering unseen
individuals.
- Abstract（参考訳）: 低ビュー環境で3d人間の頭部を再構築することは、主に限られたビューと高周波信号でオーバーフィットするリスクが顕著であるため、技術的な課題がある。
そこで本研究では,2段階の粗大なトレーニング戦略を取り入れた幾何分解手法を提案する。
本研究では, 滑らかなテンプレート, 非剛性変形, 高周波変位場からなる複合符号付き距離場のゼロレベルセットを用いて3次元頭部を表現する。
テンプレートは、アイデンティティと表現の両方に依存しない特徴をキャプチャし、スパースとランダムに選択されたビューを持つ複数の個人にわたって変形ネットワークとコトレーニングされる。
個人固有の詳細を捉えた変位場は、それぞれ個別の訓練を受ける。
ネットワークトレーニングには3Dの監視やオブジェクトマスクは必要ない。
実験により, 幾何分解と2段階学習戦略の有効性とロバスト性を示した。
提案手法は,低視野環境下での再現精度と新規ビュー合成の観点から,既存のニューラルレンダリング手法より優れる。
さらに、事前学習されたテンプレートは、未熟な個人に遭遇した場合のモデルの適切な初期化に役立ちます。
関連論文リスト
- Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。
一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
論文 参考訳（メタデータ） (2024-06-17T07:43:53Z) - MultiPly: Reconstruction of Multiple People from Monocular Video in the Wild [32.6521941706907]
モノクラーインザワイルドビデオから3Dで複数の人物を再構成する新しいフレームワークであるMultiPlyを提案する。
まず、シーン全体の階層化されたニューラル表現を定義し、個々の人間と背景モデルで合成する。
階層化可能なボリュームレンダリングを通じて,ビデオから階層化ニューラル表現を学習する。
論文 参考訳（メタデータ） (2024-06-03T17:59:57Z) - Preface: A Data-driven Volumetric Prior for Few-shot Ultra
High-resolution Face Synthesis [0.0]
NeRFは、複雑な外観や毛髪と皮膚の反射効果を含む、人間の顔の非常に現実的な合成を可能にした。
本稿では,前者のトレーニング分布の一部ではない被験者の超高解像度な新しい視点の合成を可能にする,新しいヒューマン・フェイス・プレファレンスを提案する。
論文 参考訳（メタデータ） (2023-09-28T21:21:44Z) - Learning Neural Parametric Head Models [7.679586286000453]
そこで本研究では,ハイブリッドニューラルネットワークを用いた人間の頭部の3次元形状モデルを提案する。
我々は,手動距離場(SDF)として標準空間内の人物の身元を捉え,ニューラルな変形場を持つ表情をモデル化する。
我々の表現は、顔のアンカーポイントを中心とした局所フィールドのアンサンブルを導入することで、高忠実な局所詳細を実現する。
論文 参考訳（メタデータ） (2022-12-06T05:24:42Z) - NeuralReshaper: Single-image Human-body Retouching with Deep Neural
Networks [50.40798258968408]
本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。
われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。
ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
論文 参考訳（メタデータ） (2022-03-20T09:02:13Z) - Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。
提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
論文 参考訳（メタデータ） (2021-08-30T19:45:07Z) - H3D-Net: Few-Shot High-Fidelity 3D Head Reconstruction [27.66008315400462]
表面形状を暗黙的に表現する最近の学習手法は、多視点3次元再構成の問題において顕著な結果を示している。
我々はこれらの制限を,数発のフル3次元頭部再構成の特定の問題に対処する。
暗黙の表現を用いて,数千個の不完全な生スキャンから3次元頭部形状モデルを学習する。
論文 参考訳（メタデータ） (2021-07-26T23:04:18Z) - Neural Actor: Neural Free-view Synthesis of Human Actors with Pose
Control [80.79820002330457]
任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。
提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
論文 参考訳（メタデータ） (2021-06-03T17:40:48Z) - Shape My Face: Registering 3D Face Scans by Surface-to-Surface
Translation [75.59415852802958]
Shape-My-Face (SMF) は、改良されたポイントクラウドエンコーダ、新しい視覚的注意機構、スキップ接続付きグラフ畳み込みデコーダ、特殊口モデルに基づく強力なエンコーダデコーダアーキテクチャである。
私たちのモデルは、トポロジカルにサウンドメッシュを最小限の監視で提供し、より高速なトレーニング時間を提供し、訓練可能なパラメータを桁違いに減らし、ノイズに強く、以前は見られないデータセットに一般化することができます。
論文 参考訳（メタデータ） (2020-12-16T20:02:36Z) - Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。
我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。
我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
論文 参考訳（メタデータ） (2020-08-16T13:38:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。