論文の概要: Perspective Reconstruction of Human Faces by Joint Mesh and Landmark Regression

• arxiv url: http://arxiv.org/abs/2208.07142v1
• Date: Mon, 15 Aug 2022 12:32:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-16 14:09:43.253846
• Title: Perspective Reconstruction of Human Faces by Joint Mesh and Landmark Regression
• Title（参考訳）: 連成メッシュとランドマーク回帰による人間の顔の視線再構成
• Authors: Jia Guo, Jinke Yu, Alexandros Lattas, Jiankang Deng
• Abstract要約: 本研究では,世界空間の3次元顔メッシュを同時に再構築し,画像平面上の2次元顔のランドマークを予測することを提案する。 予測された3Dおよび2Dランドマークに基づいて、6DF (6 Degrees Freedom)フェイスポーズを解決者により容易に推定することができる。
• 参考スコア（独自算出の注目度）: 89.8129467907451
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Even though 3D face reconstruction has achieved impressive progress, most orthogonal projection-based face reconstruction methods can not achieve accurate and consistent reconstruction results when the face is very close to the camera due to the distortion under the perspective projection. In this paper, we propose to simultaneously reconstruct 3D face mesh in the world space and predict 2D face landmarks on the image plane to address the problem of perspective 3D face reconstruction. Based on the predicted 3D vertices and 2D landmarks, the 6DoF (6 Degrees of Freedom) face pose can be easily estimated by the PnP solver to represent perspective projection. Our approach achieves 1st place on the leader-board of the ECCV 2022 WCPA challenge and our model is visually robust under different identities, expressions and poses. The training code and models are released to facilitate future research.
• Abstract（参考訳）: 3次元顔の復元は目覚ましい進歩を遂げてきたが、ほとんどの直交投影に基づく顔再構成法は、視点投影による歪みにより顔がカメラに非常に近い場合、精度が高く一貫した再構成結果が得られない。 本稿では,世界空間における3次元顔メッシュの同時再構築と画像平面上の2次元顔ランドマークの予測を行い,視点3次元顔メッシュの再構築問題に対処する。 予測された3次元頂点と2次元ランドマークに基づいて、6DoF (6 Degrees of Freedom) 面のポーズをPnPソルバで容易に推定し、視点投影を表現する。 このアプローチはECCV 2022 WCPAチャレンジのリーダーボードで1位を獲得し、異なるアイデンティティ、表現、ポーズの下で視覚的に堅牢である。 トレーニングコードとモデルは、将来の研究を促進するためにリリースされている。

関連論文リスト

• A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images [15.40230841242637]
  本稿では,1つの画像から正確な顔再構成を実現するために,新しい階層型表現ネットワーク(HRN)を提案する。 我々のフレームワークは、異なるビューの詳細な一貫性を考慮し、マルチビューに拡張することができる。 本手法は,再現精度と視覚効果の両方において既存手法より優れる。
  論文  参考訳（メタデータ） (2023-02-28T09:24:36Z)
• Towards 3D Face Reconstruction in Perspective Projection: Estimating 6DoF Face Pose from Monocular Image [48.77844225075744]
  顔がカメラに非常に近い、あるいはカメラ軸に沿って動くいくつかのシナリオでは、この手法は不正確な再構築と不安定な時間的適合に悩まされる。 深層ニューラルネットワークであるPerspNet(PerspNet)は、標準空間における3次元顔形状を同時に再構築するために提案されている。 我々は、視点投影のシナリオ下での3次元顔再構成ソリューションのトレーニングと評価を可能にするために、大規模なARKitFaceデータセットをコントリビュートする。
  論文  参考訳（メタデータ） (2022-05-09T08:49:41Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• Realistic face animation generation from videos [2.398608007786179]
  3次元顔の再構成と顔のアライメントは、コンピュータビジョンにおける2つの基本的かつ高機能なトピックである。 近年,深層学習モデルを用いて3dmm係数を推定して3d顔形状を再構成する研究が始まっている。 この問題に対処するために、3DMM係数の計算を完全に回避できるエンドツーエンド手法を提案する。
  論文  参考訳（メタデータ） (2021-03-27T20:18:14Z)
• Learning 3D Face Reconstruction with a Pose Guidance Network [49.13404714366933]
  ポーズ誘導ネットワーク(PGN)を用いた単眼3次元顔再構成学習のための自己指導型学習手法を提案する。 まず,従来のパラメトリックな3次元顔の学習手法におけるポーズ推定のボトルネックを明らかにし,ポーズパラメータの推定に3次元顔のランドマークを活用することを提案する。 我々のデザインしたPGNでは、完全にラベル付けされた3Dランドマークと無制限にラベル付けされた未使用の顔画像で両方の顔から学習できる。
  論文  参考訳（メタデータ） (2020-10-09T06:11:17Z)
• Adaptive 3D Face Reconstruction from a Single Image [45.736818498242016]
  1枚の画像から3次元の顔形状を適応的に再構成する新しい関節2Dと3Dの最適化法を提案する。 複数のデータセットに対する実験結果から,本手法は1枚のカラー画像から高品質な再構成を実現できることが示された。
  論文  参考訳（メタデータ） (2020-07-08T09:35:26Z)
• AvatarMe: Realistically Renderable 3D Facial Reconstruction "in-the-wild" [105.28776215113352]
  AvatarMe は、1つの "in-the-wild" 画像から高精細度で光リアルな3D顔を再構成できる最初の方法である。 6K解像度の3D画像を1枚の低解像度画像から再現する。
  論文  参考訳（メタデータ） (2020-03-30T22:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。