論文の概要: Single-Image 3D Face Reconstruction under Perspective Projection
- arxiv url: http://arxiv.org/abs/2205.04126v1
- Date: Mon, 9 May 2022 08:49:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-10 16:24:30.608756
- Title: Single-Image 3D Face Reconstruction under Perspective Projection
- Title（参考訳）: 視線投影による単眼3次元顔再構成
- Authors: Yueying Kao and Bowen Pan and Miao Xu and Jiangjing Lyu and Xiangyu
Zhu and Yuanzhang Chang and Xiaobo Li and Zhen Lei and Zixiong Qin
- Abstract要約: 3次元顔の再構成では、視線投影を簡易化するために、視線投影を代用するために広く使われている。
顔がカメラに非常に近い、あるいはカメラ軸に沿って動くいくつかのシナリオでは、この手法は不正確な再構築と不安定な時間的適合に悩まされる。
本稿では,視点投影下での1次元顔再構成の問題に対処するために,深層ニューラルネットワークであるパースペクティブ・ネットワーク(PerspNet)を提案する。
- 参考スコア（独自算出の注目度）: 46.76429444821199
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In 3D face reconstruction, orthogonal projection has been widely employed to
substitute perspective projection to simplify the fitting process. This
approximation performs well when the distance between camera and face is far
enough. However, in some scenarios that the face is very close to camera or
moving along the camera axis, the methods suffer from the inaccurate
reconstruction and unstable temporal fitting due to the distortion under the
perspective projection. In this paper, we aim to address the problem of
single-image 3D face reconstruction under perspective projection. Specifically,
a deep neural network, Perspective Network (PerspNet), is proposed to
simultaneously reconstruct 3D face shape in canonical space and learn the
correspondence between 2D pixels and 3D points, by which the 6DoF (6 Degrees of
Freedom) face pose can be estimated to represent perspective projection.
Besides, we contribute a large ARKitFace dataset to enable the training and
evaluation of 3D face reconstruction solutions under the scenarios of
perspective projection, which has 902,724 2D facial images with ground-truth 3D
face mesh and annotated 6DoF pose parameters. Experimental results show that
our approach outperforms current state-of-the-art methods by a significant
margin.
- Abstract（参考訳）: 3次元顔再建では, 鏡視投影の代替として直交投影法が広く採用されている。
この近似は、カメラと顔の距離が十分遠くてもうまく機能する。
しかし、顔がカメラに非常に近づいたり、カメラ軸に沿って動いたりするシナリオでは、遠近射影の歪みによる不正確な復元と不安定な時間的嵌合に悩まされる。
本稿では,視線投影による単一像の3次元顔再構成の課題に対処することを目的とする。
具体的には、ディープニューラルネットワークであるパースペクティブネットワーク(perspnet)が提案され、正準空間における3d顔形状を同時に再構成し、2dピクセルと3dポイントの対応を学習し、それによって6dof(6自由度)の顔ポーズを推定して視点投影を表現できる。
また,大規模なarkitfaceデータセットをコントリビュートすることで,3dポーズパラメータをアノテートした902,724枚の2d顔画像を含む視点投影のシナリオに基づいて,3d顔再構成ソリューションのトレーニングと評価を可能にする。
実験の結果,本手法は最先端手法よりも有意差が認められた。
関連論文リスト
- FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。
本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
論文 参考訳（メタデータ） (2023-08-10T17:55:02Z) - RAFaRe: Learning Robust and Accurate Non-parametric 3D Face
Reconstruction from Pseudo 2D&3D Pairs [13.11105614044699]
単視3次元顔再構成(SVFR)のための頑健で正確な非パラメトリック手法を提案する。
大規模な擬似2D&3Dデータセットは、まず詳細な3D顔をレンダリングし、野生の画像の顔と描画された顔とを交換することによって作成される。
本モデルは,FaceScape-wild/labおよびMICCベンチマークにおいて,従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2023-02-10T19:40:26Z) - Perspective Reconstruction of Human Faces by Joint Mesh and Landmark
Regression [89.8129467907451]
本研究では,世界空間の3次元顔メッシュを同時に再構築し,画像平面上の2次元顔のランドマークを予測することを提案する。
予測された3Dおよび2Dランドマークに基づいて、6DF (6 Degrees Freedom)フェイスポーズを解決者により容易に推定することができる。
論文 参考訳（メタデータ） (2022-08-15T12:32:20Z) - Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。
平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。
提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
論文 参考訳（メタデータ） (2022-05-05T17:59:55Z) - Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。
以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。
本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
論文 参考訳（メタデータ） (2022-04-09T03:46:18Z) - FaceScape: 3D Facial Dataset and Benchmark for Single-View 3D Face
Reconstruction [29.920622006999732]
大規模な3次元顔データセット、FaceScape、およびそれに対応するベンチマークを提示し、単視点顔の3次元再構成を評価する。
FaceScapeデータをトレーニングすることにより、単一の画像入力から精巧な3次元顔モデルを予測する新しいアルゴリズムを提案する。
また、FaceScapeデータを用いて、最新の単一視点顔再構成手法の評価を行う。
論文 参考訳（メタデータ） (2021-11-01T16:48:34Z) - Adaptive 3D Face Reconstruction from a Single Image [45.736818498242016]
1枚の画像から3次元の顔形状を適応的に再構成する新しい関節2Dと3Dの最適化法を提案する。
複数のデータセットに対する実験結果から,本手法は1枚のカラー画像から高品質な再構成を実現できることが示された。
論文 参考訳（メタデータ） (2020-07-08T09:35:26Z) - DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。
私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。
登録された画像に対して,60fpsで3次元フローマップを生成する。
論文 参考訳（メタデータ） (2020-05-14T23:56:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。