論文の概要: Pixel-Face: A Large-Scale, High-Resolution Benchmark for 3D Face Reconstruction

• arxiv url: http://arxiv.org/abs/2008.12444v3
• Date: Thu, 3 Sep 2020 02:33:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 02:15:44.627815
• Title: Pixel-Face: A Large-Scale, High-Resolution Benchmark for 3D Face Reconstruction
• Title（参考訳）: Pixel-Face: 3D顔再構成のための大規模高解像度ベンチマーク
• Authors: Jiangjing Lyu, Xiaobo Li, Xiangyu Zhu, Cheng Cheng
• Abstract要約: 我々は大規模で高解像度で多様な3D顔データセットであるPixel-Faceを紹介した。 具体的には、Pixel-Faceには18歳から80歳までの855人の被験者が含まれており、各被験者は様々な表現を持つ20以上のサンプルを持っている。 得られたPixel-3DMは,幅広い顔形状や表情をモデル化する上で優れていることを示す。
• 参考スコア（独自算出の注目度）: 15.51331644571456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D face reconstruction is a fundamental task that can facilitate numerous applications such as robust facial analysis and augmented reality. It is also a challenging task due to the lack of high-quality datasets that can fuel current deep learning-based methods. However, existing datasets are limited in quantity, realisticity and diversity. To circumvent these hurdles, we introduce Pixel-Face, a large-scale, high-resolution and diverse 3D face dataset with massive annotations. Specifically, Pixel-Face contains 855 subjects aging from 18 to 80. Each subject has more than 20 samples with various expressions. Each sample is composed of high-resolution multi-view RGB images and 3D meshes with various expressions. Moreover, we collect precise landmarks annotation and 3D registration result for each data. To demonstrate the advantages of Pixel-Face, we re-parameterize the 3D Morphable Model (3DMM) into Pixel-3DM using the collected data. We show that the obtained Pixel-3DM is better in modeling a wide range of face shapes and expressions. We also carefully benchmark existing 3D face reconstruction methods on our dataset. Moreover, Pixel-Face serves as an effective training source. We observe that the performance of current face reconstruction models significantly improves both on existing benchmarks and Pixel-Face after being fine-tuned using our newly collected data. Extensive experiments demonstrate the effectiveness of Pixel-3DM and the usefulness of Pixel-Face.
• Abstract（参考訳）: 3D顔の再構成は、堅牢な顔分析や拡張現実といった多くの応用を促進するための基本的なタスクである。 これはまた、現在のディープラーニングベースのメソッドを推進できる高品質なデータセットがないため、難しいタスクでもある。 しかし、既存のデータセットは量、現実性、多様性に制限がある。 これらのハードルを回避するために、大規模で高解像度で多様な3D顔データセットであるPixel-Faceを紹介します。 具体的には、pixel-faceは18歳から80歳までの855人の被験者を含んでいる。 各被験者には、さまざまな表現を持つ20以上のサンプルがある。 各サンプルは高解像度のマルチビューRGB画像と様々な表現を持つ3Dメッシュで構成されている。 さらに,各データに対して正確なランドマークアノテーションと3次元登録結果を収集する。 ピクセルフェイスの利点を示すために、3d morphable model(3dmm)を収集データを用いてpixel-3dmに再パラメータ化する。 得られたPixel-3DMは,幅広い顔形状や表情をモデル化する上で優れていることを示す。 また,既存の3次元顔復元手法を慎重にベンチマークした。 さらに、pixel-faceは効果的なトレーニングソースとして機能する。 現在の顔再構成モデルの性能は、新たに収集したデータを用いて微調整された後、既存のベンチマークとpixel-faceの両方で大幅に向上する。 広範な実験により、pixel-3dmの有効性とpixel-faceの有用性が実証された。

関連論文リスト

• 3D Human Reconstruction in the Wild with Synthetic Data Using Generative Models [52.96248836582542]
  本稿では,人間の画像とそれに対応する3Dメッシュアノテーションをシームレスに生成できるHumanWildという,最近の拡散モデルに基づく効果的なアプローチを提案する。 生成モデルを排他的に活用することにより,大規模な人体画像と高品質なアノテーションを生成し,実世界のデータ収集の必要性を解消する。
  論文  参考訳（メタデータ） (2024-03-17T06:31:16Z)
• What You See is What You GAN: Rendering Every Pixel for High-Fidelity Geometry in 3D GANs [82.3936309001633]
  3D-aware Generative Adversarial Networks (GANs) は,マルチビュー一貫性画像と3Dジオメトリを生成する学習において,顕著な進歩を見せている。 しかし、ボリュームレンダリングにおける高密度サンプリングの大幅なメモリと計算コストにより、3D GANはパッチベースのトレーニングを採用するか、後処理の2Dスーパーレゾリューションで低解像度レンダリングを採用することを余儀なくされた。 ニューラルボリュームレンダリングをネイティブ2次元画像の高解像度化に拡張する手法を提案する。
  論文  参考訳（メタデータ） (2024-01-04T18:50:38Z)
• A Large-Scale 3D Face Mesh Video Dataset via Neural Re-parameterized Optimization [17.938604013181426]
  ビデオ上での3次元顔メッシュ擬似アノテーションであるNeuFaceを提案する。 我々は、NeuFace-datasetと呼ばれる大規模なフェイスビデオに、ビュー/フレーム毎の正確で一貫したフェイスメッシュを注釈付けします。 データセット内の3次元顔の自然性と多様性を利用して、3次元顔関連タスクにおけるデータセットの有用性を実証する。
  論文  参考訳（メタデータ） (2023-10-04T23:24:22Z)
• A lightweight 3D dense facial landmark estimation model from position map data [0.8508775813669867]
  顔全体にわたって520個のキーポイントを含む密集キーポイントトレーニングデータセットを作成するパイプラインを提案する。 生成されたデータを用いて、軽量なMobileNetベースの回帰モデルをトレーニングする。 実験結果から, モデルサイズが小さく, 計算コストが最小であるにもかかわらず, トレーニングされたモデルでは, 既存の手法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-08-29T09:53:10Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• FaceScape: 3D Facial Dataset and Benchmark for Single-View 3D Face Reconstruction [29.920622006999732]
  大規模な3次元顔データセット、FaceScape、およびそれに対応するベンチマークを提示し、単視点顔の3次元再構成を評価する。 FaceScapeデータをトレーニングすることにより、単一の画像入力から精巧な3次元顔モデルを予測する新しいアルゴリズムを提案する。 また、FaceScapeデータを用いて、最新の単一視点顔再構成手法の評価を行う。
  論文  参考訳（メタデータ） (2021-11-01T16:48:34Z)
• Pix2Surf: Learning Parametric 3D Surface Models of Objects from Images [64.53227129573293]
  1つ以上の視点から見れば、新しいオブジェクトの3次元パラメトリック表面表現を学習する際の課題について検討する。 ビュー間で一貫した高品質なパラメトリックな3次元表面を生成できるニューラルネットワークを設計する。 提案手法は,共通対象カテゴリからの形状の公開データセットに基づいて,教師と訓練を行う。
  論文  参考訳（メタデータ） (2020-08-18T06:33:40Z)
• FaceScape: a Large-scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction [39.95272819738226]
  単一画像入力から精巧な3次元顔モデルを予測できる新しいアルゴリズムを提案する。 FaceScapeデータセットは18,760のテクスチャ付き3D顔を提供する。
  論文  参考訳（メタデータ） (2020-03-31T07:11:08Z)
• AvatarMe: Realistically Renderable 3D Facial Reconstruction "in-the-wild" [105.28776215113352]
  AvatarMe は、1つの "in-the-wild" 画像から高精細度で光リアルな3D顔を再構成できる最初の方法である。 6K解像度の3D画像を1枚の低解像度画像から再現する。
  論文  参考訳（メタデータ） (2020-03-30T22:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。