論文の概要: Prior-Guided Multi-View 3D Head Reconstruction
- arxiv url: http://arxiv.org/abs/2107.04277v1
- Date: Fri, 9 Jul 2021 07:43:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-12 13:49:00.153344
- Title: Prior-Guided Multi-View 3D Head Reconstruction
- Title（参考訳）: 先導型マルチビュー3次元頭部再構成
- Authors: Xueying Wang, Yudong Guo, Zhongqi Yang and Juyong Zhang
- Abstract要約: 従来の多視点ステレオ法は, 頭部構造が不明瞭なり, 毛髪部が不正確であったりするなどの低周波構造に悩まされていた。
この問題に対処するため,我々は事前誘導型暗黙的ニューラルネットワークを提案する。
これらの先行技術を利用することで、復元精度とロバスト性が向上し、高品質な3Dヘッドモデルが実現される。
- 参考スコア（独自算出の注目度）: 28.126115947538572
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recovering a 3D head model including the complete face and hair regions is
still a challenging problem in computer vision and graphics. In this paper, we
consider this problem with a few multi-view portrait images as input. Previous
multi-view stereo methods, either based on the optimization strategies or deep
learning techniques, suffer from low-frequency geometric structures such as
unclear head structures and inaccurate reconstruction in hair regions. To
tackle this problem, we propose a prior-guided implicit neural rendering
network. Specifically, we model the head geometry with a learnable signed
distance field (SDF) and optimize it via an implicit differentiable renderer
with the guidance of some human head priors, including the facial prior
knowledge, head semantic segmentation information and 2D hair orientation maps.
The utilization of these priors can improve the reconstruction accuracy and
robustness, leading to a high-quality integrated 3D head model. Extensive
ablation studies and comparisons with state-of-the-art methods demonstrate that
our method could produce high-fidelity 3D head geometries with the guidance of
these priors.
- Abstract（参考訳）: 顔と髪の領域を含む3Dヘッドモデルの復元は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。
本稿では,複数視点のポートレート画像を入力として,この問題を考える。
従来のマルチビューステレオ法は、最適化戦略またはディープラーニング技術に基づいており、不明瞭な頭部構造や毛髪領域における不正確な再構成といった低周波の幾何学的構造に苦しむ。
この問題に対処するために,先導型暗黙的ニューラルネットワークを提案する。
具体的には,頭部形状を学習可能な符号付き距離場(SDF)でモデル化し,顔の事前知識,頭部意味的セグメンテーション情報,2Dヘアオリエンテーションマップなどを含む,暗黙の微分可能レンダラーを用いて最適化する。
これらの先行技術を利用することで、復元精度とロバスト性が向上し、高品質な3Dヘッドモデルが実現される。
広範なアブレーション研究と最新手法との比較により,本手法が先行手法の指導により高精度な3次元頭部形状を生成できることが証明された。
関連論文リスト
- HeadRecon: High-Fidelity 3D Head Reconstruction from Monocular Video [37.53752896927615]
任意のモノクラービデオから高忠実度3Dヘッドモデルの再構成について検討する。
本稿では,これらの問題に対処するために,事前誘導型動的暗黙的ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-12-14T12:38:56Z) - Head3D: Complete 3D Head Generation via Tri-plane Feature Distillation [56.267877301135634]
現在のフルヘッド生成法では、モデルをトレーニングするために多数の3Dスキャンやマルチビューイメージが必要となる。
マルチビュー画像に制限のある完全3Dヘッドを生成する手法であるHead3Dを提案する。
本モデルは,写真リアルなレンダリングと高品質な幾何表現により,コスト効率と多種多様な完全ヘッド生成を実現する。
論文 参考訳（メタデータ） (2023-03-28T11:12:26Z) - PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360$^{\circ}$ [17.355141949293852]
3次元頭部合成のための既存の3次元生成対向ネットワーク(GAN)は、正面近傍のビューに限られるか、大きなビュー角で3次元の一貫性を維持するのが困難である。
パノヘッド(PanoHead)は、360ドル(約3万3000円)で高画質のフルヘッド画像合成を可能にする最初の3D認識生成モデルである。
論文 参考訳（メタデータ） (2023-03-23T06:54:34Z) - Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。
以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。
本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
論文 参考訳（メタデータ） (2022-04-09T03:46:18Z) - SIDER: Single-Image Neural Optimization for Facial Geometric Detail
Recovery [54.64663713249079]
SIDERは、教師なしの方法で単一の画像から詳細な顔形状を復元する新しい光度最適化手法である。
以前の作業とは対照的に、SIDERはデータセットの事前に依存せず、複数のビュー、照明変更、地上の真実の3D形状から追加の監視を必要としない。
論文 参考訳（メタデータ） (2021-08-11T22:34:53Z) - H3D-Net: Few-Shot High-Fidelity 3D Head Reconstruction [27.66008315400462]
表面形状を暗黙的に表現する最近の学習手法は、多視点3次元再構成の問題において顕著な結果を示している。
我々はこれらの制限を,数発のフル3次元頭部再構成の特定の問題に対処する。
暗黙の表現を用いて,数千個の不完全な生スキャンから3次元頭部形状モデルを学習する。
論文 参考訳（メタデータ） (2021-07-26T23:04:18Z) - Hybrid Approach for 3D Head Reconstruction: Using Neural Networks and
Visual Geometry [3.970492757288025]
本稿では,深層学習と幾何学的手法に基づくハイブリッド手法を用いて,複数の画像から3次元頭部を再構築する手法を提案する。
U-netアーキテクチャに基づくエンコーダデコーダネットワークを提案し、合成データのみを学習する。
論文 参考訳（メタデータ） (2021-04-28T11:31:35Z) - Learning 3D Face Reconstruction with a Pose Guidance Network [49.13404714366933]
ポーズ誘導ネットワーク(PGN)を用いた単眼3次元顔再構成学習のための自己指導型学習手法を提案する。
まず,従来のパラメトリックな3次元顔の学習手法におけるポーズ推定のボトルネックを明らかにし,ポーズパラメータの推定に3次元顔のランドマークを活用することを提案する。
我々のデザインしたPGNでは、完全にラベル付けされた3Dランドマークと無制限にラベル付けされた未使用の顔画像で両方の顔から学習できる。
論文 参考訳（メタデータ） (2020-10-09T06:11:17Z) - Face Super-Resolution Guided by 3D Facial Priors [92.23902886737832]
シャープな顔構造を把握した3次元顔先行情報を明示的に組み込んだ新しい顔超解像法を提案する。
我々の研究は、顔属性のパラメトリック記述の融合に基づく3次元形態的知識を初めて探求したものである。
提案した3D先行画像は、最先端技術よりも優れた顔超解像結果が得られる。
論文 参考訳（メタデータ） (2020-07-18T15:26:07Z) - Deep 3D Portrait from a Single Image [54.634207317528364]
1枚の肖像画から人間の頭部の3次元形状を復元するための学習に基づくアプローチを提案する。
顔画像から3次元頭部再構成を学習するための2段階の幾何学的学習手法を提案する。
提案手法の精度を3次元画像と2次元画像のポーズ操作の両方で評価した。
論文 参考訳（メタデータ） (2020-04-24T08:55:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。