論文の概要: Implicit Neural Deformation for Multi-View Face Reconstruction
- arxiv url: http://arxiv.org/abs/2112.02494v1
- Date: Sun, 5 Dec 2021 07:02:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-09 10:06:27.672125
- Title: Implicit Neural Deformation for Multi-View Face Reconstruction
- Title(参考訳): 多視点顔再構成のための入射神経変形
- Authors: Moran Li, Haibin Huang, Yi Zheng, Mengtian Li, Nong Sang, Chongyang Ma
- Abstract要約: マルチビューRGB画像から新しい3次元顔再構成法を提案する。
従来の3次元形態素モデルに基づく手法とは異なり,本手法は暗黙の表現を利用してリッチな幾何学的特徴を符号化する。
いくつかのベンチマークデータセットに対する実験結果から,提案手法は代替ベースラインよりも優れ,最先端の手法に比べて優れた顔再構成結果が得られることが示された。
- 参考スコア(独自算出の注目度): 43.88676778013593
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we present a new method for 3D face reconstruction from
multi-view RGB images. Unlike previous methods which are built upon 3D
morphable models (3DMMs) with limited details, our method leverages an implicit
representation to encode rich geometric features. Our overall pipeline consists
of two major components, including a geometry network, which learns a
deformable neural signed distance function (SDF) as the 3D face representation,
and a rendering network, which learns to render on-surface points of the neural
SDF to match the input images via self-supervised optimization. To handle
in-the-wild sparse-view input of the same target with different expressions at
test time, we further propose residual latent code to effectively expand the
shape space of the learned implicit face representation, as well as a novel
view-switch loss to enforce consistency among different views. Our experimental
results on several benchmark datasets demonstrate that our approach outperforms
alternative baselines and achieves superior face reconstruction results
compared to state-of-the-art methods.
- Abstract(参考訳): 本研究では,多視点RGB画像からの3次元顔再構成手法を提案する。
3d morphable model (3dmms) 上に構築した従来の手法と異なり,この手法は,幾何学的特徴をエンコードするために暗黙表現を利用する。
我々の全体パイプラインは、変形可能なニューラルサイン距離関数(SDF)を3次元顔表現として学習する幾何学的ネットワークと、自己監督最適化により入力画像と一致するようにニューラルSDFの地上点をレンダリングするレンダリングネットワークの2つの主要コンポーネントで構成されている。
テスト時に異なる表現で同じターゲットのスパースビュー入力を処理するために、学習した暗黙の顔表現の形状空間を効果的に拡張する残留潜時符号と、異なるビュー間の一貫性を強制する新しいビュースウィッチ損失を提案する。
いくつかのベンチマークデータセットにおける実験結果から,本手法が代替ベースラインを上回っており,最先端手法と比較して優れた顔再構成結果が得られた。
関連論文リスト
- DiViNeT: 3D Reconstruction from Disparate Views via Neural Template
Regularization [7.488962492863031]
本稿では3つの異なるRGB画像を入力として用いたボリュームレンダリングに基づくニューラルサーフェス再構成手法を提案する。
我々のキーとなる考え方は再建を規則化することであり、これは深刻な問題であり、スパースビューの間に大きなギャップを埋めることである。
提案手法は, 従来の手法の中でも, 疎外な視点で, 最高の復元品質を達成できる。
論文 参考訳(メタデータ) (2023-06-07T18:05:14Z) - A Hierarchical Representation Network for Accurate and Detailed Face
Reconstruction from In-The-Wild Images [15.40230841242637]
本稿では,1つの画像から正確な顔再構成を実現するために,新しい階層型表現ネットワーク(HRN)を提案する。
我々のフレームワークは、異なるビューの詳細な一貫性を考慮し、マルチビューに拡張することができる。
本手法は,再現精度と視覚効果の両方において既存手法より優れる。
論文 参考訳(メタデータ) (2023-02-28T09:24:36Z) - Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。
我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。
我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
論文 参考訳(メタデータ) (2022-04-21T03:42:31Z) - Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。
以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。
本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
論文 参考訳(メタデータ) (2022-04-09T03:46:18Z) - H3D-Net: Few-Shot High-Fidelity 3D Head Reconstruction [27.66008315400462]
表面形状を暗黙的に表現する最近の学習手法は、多視点3次元再構成の問題において顕著な結果を示している。
我々はこれらの制限を,数発のフル3次元頭部再構成の特定の問題に対処する。
暗黙の表現を用いて,数千個の不完全な生スキャンから3次元頭部形状モデルを学習する。
論文 参考訳(メタデータ) (2021-07-26T23:04:18Z) - Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
本稿では,GAR(Generative Adversa Renderer)について紹介する。
GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。
本手法は,複数顔再構成における最先端性能を実現する。
論文 参考訳(メタデータ) (2021-05-06T04:16:06Z) - Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D
Shapes [77.6741486264257]
本稿では,高忠実度ニューラルネットワークSDFのリアルタイムレンダリングを可能にする,効率的なニューラル表現を提案する。
我々の表現は、以前の作品に比べてレンダリング速度の点で2~3桁の効率であることを示す。
論文 参考訳(メタデータ) (2021-01-26T18:50:22Z) - Weakly-Supervised Multi-Face 3D Reconstruction [45.864415499303405]
多面的3D再構築のための効果的なエンドツーエンドフレームワークを提案する。
各画像の再構成された顔に対して、同じグローバルカメラモデルを採用し、3dシーンにおける相対的な頭部位置と向きを復元することができる。
論文 参考訳(メタデータ) (2021-01-06T13:15:21Z) - Pix2Surf: Learning Parametric 3D Surface Models of Objects from Images [64.53227129573293]
1つ以上の視点から見れば、新しいオブジェクトの3次元パラメトリック表面表現を学習する際の課題について検討する。
ビュー間で一貫した高品質なパラメトリックな3次元表面を生成できるニューラルネットワークを設計する。
提案手法は,共通対象カテゴリからの形状の公開データセットに基づいて,教師と訓練を行う。
論文 参考訳(メタデータ) (2020-08-18T06:33:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。