論文の概要: FaceScape: 3D Facial Dataset and Benchmark for Single-View 3D Face Reconstruction

• arxiv url: http://arxiv.org/abs/2111.01082v2
• Date: Fri, 15 Sep 2023 20:00:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 02:24:05.453134
• Title: FaceScape: 3D Facial Dataset and Benchmark for Single-View 3D Face Reconstruction
• Title（参考訳）: FaceScape: 1次元顔再構成のための3次元顔データセットとベンチマーク
• Authors: Hao Zhu, Haotian Yang, Longwei Guo, Yidi Zhang, Yanru Wang, Mingkai Huang, Menghua Wu, Qiu Shen, Ruigang Yang, Xun Cao
• Abstract要約: 大規模な3次元顔データセット、FaceScape、およびそれに対応するベンチマークを提示し、単視点顔の3次元再構成を評価する。 FaceScapeデータをトレーニングすることにより、単一の画像入力から精巧な3次元顔モデルを予測する新しいアルゴリズムを提案する。 また、FaceScapeデータを用いて、最新の単一視点顔再構成手法の評価を行う。
• 参考スコア（独自算出の注目度）: 29.920622006999732
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present a large-scale detailed 3D face dataset, FaceScape, and the corresponding benchmark to evaluate single-view facial 3D reconstruction. By training on FaceScape data, a novel algorithm is proposed to predict elaborate riggable 3D face models from a single image input. FaceScape dataset releases $16,940$ textured 3D faces, captured from $847$ subjects and each with $20$ specific expressions. The 3D models contain the pore-level facial geometry that is also processed to be topologically uniform. These fine 3D facial models can be represented as a 3D morphable model for coarse shapes and displacement maps for detailed geometry. Taking advantage of the large-scale and high-accuracy dataset, a novel algorithm is further proposed to learn the expression-specific dynamic details using a deep neural network. The learned relationship serves as the foundation of our 3D face prediction system from a single image input. Different from most previous methods, our predicted 3D models are riggable with highly detailed geometry under different expressions. We also use FaceScape data to generate the in-the-wild and in-the-lab benchmark to evaluate recent methods of single-view face reconstruction. The accuracy is reported and analyzed on the dimensions of camera pose and focal length, which provides a faithful and comprehensive evaluation and reveals new challenges. The unprecedented dataset, benchmark, and code have been released at https://github.com/zhuhao-nju/facescape.
• Abstract（参考訳）: 本稿では,大規模な3次元顔データセット,FaceScape,およびそれに対応するベンチマークについて述べる。 FaceScapeデータをトレーニングすることにより、単一の画像入力から精巧な3次元顔モデルを予測する新しいアルゴリズムを提案する。 FaceScapeのデータセットは、テクスチャ付き3D顔が16,940ドル、被験者が847ドル、それぞれ20ドルだ。 3Dモデルは、トポロジカルに均一であるように処理される細孔レベルの顔形状を含んでいる。 これらの微細な3次元顔モデルは、詳細な幾何学のための粗い形状と変位マップの3次元形態モデルとして表現することができる。 大規模かつ高精度なデータセットを活用して、深層ニューラルネットワークを用いて表現固有の動的詳細を学習する新しいアルゴリズムが提案されている。 学習された関係は、単一の画像入力から3次元顔予測システムの基礎となる。 従来の手法と異なり、予測した3dモデルは、異なる表現の下で高度に詳細な幾何学を組み込むことができる。 また、FaceScapeデータを用いて、最新の単一視点顔再構成手法の評価を行う。 精度はカメラのポーズと焦点距離の寸法で報告され分析され、忠実で包括的な評価が得られ、新たな課題が浮かび上がっている。 前例のないデータセット、ベンチマーク、コードがhttps://github.com/zhuhao-nju/facescapeでリリースされた。

関連論文リスト

• A lightweight 3D dense facial landmark estimation model from position map data [0.8508775813669867]
  顔全体にわたって520個のキーポイントを含む密集キーポイントトレーニングデータセットを作成するパイプラインを提案する。 生成されたデータを用いて、軽量なMobileNetベースの回帰モデルをトレーニングする。 実験結果から, モデルサイズが小さく, 計算コストが最小であるにもかかわらず, トレーニングされたモデルでは, 既存の手法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-08-29T09:53:10Z)
• RAFaRe: Learning Robust and Accurate Non-parametric 3D Face Reconstruction from Pseudo 2D&3D Pairs [13.11105614044699]
  単視3次元顔再構成(SVFR)のための頑健で正確な非パラメトリック手法を提案する。 大規模な擬似2D&3Dデータセットは、まず詳細な3D顔をレンダリングし、野生の画像の顔と描画された顔とを交換することによって作成される。 本モデルは,FaceScape-wild/labおよびMICCベンチマークにおいて,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-10T19:40:26Z)
• Towards 3D Face Reconstruction in Perspective Projection: Estimating 6DoF Face Pose from Monocular Image [48.77844225075744]
  顔がカメラに非常に近い、あるいはカメラ軸に沿って動くいくつかのシナリオでは、この手法は不正確な再構築と不安定な時間的適合に悩まされる。 深層ニューラルネットワークであるPerspNet(PerspNet)は、標準空間における3次元顔形状を同時に再構築するために提案されている。 我々は、視点投影のシナリオ下での3次元顔再構成ソリューションのトレーニングと評価を可能にするために、大規模なARKitFaceデータセットをコントリビュートする。
  論文  参考訳（メタデータ） (2022-05-09T08:49:41Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• Facial Geometric Detail Recovery via Implicit Representation [147.07961322377685]
  そこで本研究では,一眼の顔画像のみを用いて,テクスチャガイドを用いた幾何的細部復元手法を提案する。 提案手法は,高品質なテクスチャ補完と暗黙の面の強力な表現性を組み合わせたものである。 本手法は, 顔の正確な細部を復元するだけでなく, 正常部, アルベド部, シェーディング部を自己監督的に分解する。
  論文  参考訳（メタデータ） (2022-03-18T01:42:59Z)
• 3D Face Morphing Attacks: Generation, Vulnerability and Detection [3.6833521970861685]
  顔認識システムはモルヒネ攻撃に弱いことが判明した。 本研究は, 3次元における顔形態形成攻撃の創出に向けた新たな方向性を示す。 41のユニークなデータ対象に対応する675個の3Dスキャンからなる,新たに生成された3D顔データセットについて実験を行った。
  論文  参考訳（メタデータ） (2022-01-10T16:53:39Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• Learning an Animatable Detailed 3D Face Model from In-The-Wild Images [50.09971525995828]
  本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。 DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。 本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
  論文  参考訳（メタデータ） (2020-12-07T19:30:45Z)
• Landmark Detection and 3D Face Reconstruction for Caricature using a Nonlinear Parametric Model [27.553158595012974]
  画像の自動ランドマーク検出と3次元顔再構成のための最初の自動手法を提案する。 構築されたデータセットと非線形パラメトリックモデルに基づいて,入力された2次元似顔画像から3次元顔形状と向きを回帰するニューラルネットワークに基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-04-20T10:34:52Z)
• FaceScape: a Large-scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction [39.95272819738226]
  単一画像入力から精巧な3次元顔モデルを予測できる新しいアルゴリズムを提案する。 FaceScapeデータセットは18,760のテクスチャ付き3D顔を提供する。
  論文  参考訳（メタデータ） (2020-03-31T07:11:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。