論文の概要: Reconstructing A Large Scale 3D Face Dataset for Deep 3D Face Identification

• arxiv url: http://arxiv.org/abs/2010.08391v2
• Date: Sun, 12 Jun 2022 10:01:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 20:11:52.676197
• Title: Reconstructing A Large Scale 3D Face Dataset for Deep 3D Face Identification
• Title（参考訳）: 深部3次元顔識別のための大規模3次元顔データセットの再構成
• Authors: Cuican Yu, Zihui Zhang, Huibin Li
• Abstract要約: 本稿では,2次元支援型深部3次元顔認証の枠組みを提案する。 特に,大規模な2次元顔データベースから数百万の3次元顔スキャンを再構築することを提案する。 提案手法はFRGC v2.0, Bosphorus, BU-3DFEの3次元顔データベース上で, 最先端のランク1スコアを実現する。
• 参考スコア（独自算出の注目度）: 9.159921061636695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning methods have brought many breakthroughs to computer vision, especially in 2D face recognition. However, the bottleneck of deep learning based 3D face recognition is that it is difficult to collect millions of 3D faces, whether for industry or academia. In view of this situation, there are many methods to generate more 3D faces from existing 3D faces through 3D face data augmentation, which are used to train deep 3D face recognition models. However, to the best of our knowledge, there is no method to generate 3D faces from 2D face images for training deep 3D face recognition models. This letter focuses on the role of reconstructed 3D facial surfaces in 3D face identification and proposes a framework of 2D-aided deep 3D face identification. In particular, we propose to reconstruct millions of 3D face scans from a large scale 2D face database (i.e.VGGFace2), using a deep learning based 3D face reconstruction method (i.e.ExpNet). Then, we adopt a two-phase training approach: In the first phase, we use millions of face images to pre-train the deep convolutional neural network (DCNN), and in the second phase, we use normal component images (NCI) of reconstructed 3D face scans to train the DCNN. Extensive experimental results illustrate that the proposed approach can greatly improve the rank-1 score of 3D face identification on the FRGC v2.0, the Bosphorus, and the BU-3DFE 3D face databases, compared to the model trained by 2D face images. Finally, our proposed approach achieves state-of-the-art rank-1 scores on the FRGC v2.0 (97.6%), Bosphorus (98.4%), and BU-3DFE (98.8%) databases. The experimental results show that the reconstructed 3D facial surfaces are useful and our 2D-aided deep 3D face identification framework is meaningful, facing the scarcity of 3D faces.
• Abstract（参考訳）: 深層学習法はコンピュータビジョン、特に2次元顔認識において多くのブレークスルーをもたらした。 しかし、ディープラーニングに基づく3D顔認識のボトルネックは、産業であれ学業であれ、何百万もの3D顔を集めることは困難である。 このような状況から、深部3d顔認識モデルのトレーニングに用いられる3d顔データ拡張により、既存の3d顔からより多くの3d顔を生成する方法が数多く存在する。 しかし、我々の知る限りでは、深部3d顔認識モデルを訓練するための2d顔画像から3d顔を生成する方法がない。 本論文は, 3次元顔認証における3次元顔表面再構成の役割に焦点を当て, 2次元支援深部顔認証の枠組みを提案する。 特に,大規模2次元顔データベース(VGGFace2)から,深層学習に基づく3次元顔再構成手法(ExpNet)を用いて,数百万の3次元顔スキャンを再構築することを提案する。 第1フェーズでは、数百万の顔画像を用いて深部畳み込みニューラルネットワーク(DCNN)を事前訓練し、第2フェーズでは、再構成された3D顔スキャンの正常成分画像(NCI)を用いてDCNNを訓練する。 大規模な実験結果から,提案手法はFRGC v2.0, Bosphorus, BU-3DFEの3次元顔データベース上での3次元顔識別のランク1スコアを大幅に改善できることが示された。 最後に,提案手法はFRGC v2.0 (97.6%), Bosphorus (98.4%), BU-3DFE (98.8%) のデータベース上で,最先端のランク1スコアを達成する。 実験の結果,再建した3次元顔表面は有用であり,我々の2次元支援深部3次元顔識別フレームワークは3次元顔の不足に直面していることがわかった。

関連論文リスト

• FaceGPT: Self-supervised Learning to Chat about 3D Human Faces [69.4651241319356]
  我々は、画像やテキストから3次元の人間の顔を推論するために、VLM(Large Vision-Language Models)のための自己教師型学習フレームワークFaceGPTを紹介した。 FaceGPTは、VLMのトークン空間に3Dフォーマブルフェイスモデルのパラメータ(3DMM)を埋め込むことで、この制限を克服する。 我々は,FaceGPTが高品質な3次元顔再構成を実現し,汎用的な視覚指導の能力を維持していることを示す。
  論文  参考訳（メタデータ） (2024-06-11T11:13:29Z)
• Fake It Without Making It: Conditioned Face Generation for Accurate 3D Face Reconstruction [5.079602839359523]
  本稿では,250Kのフォトリアリスティック画像とそれに対応する形状パラメータと深度マップの大規模な合成データセットを生成する手法について述べる。 人間の顔のFLAME 3D Morphable Model(3DMM)から採取した深度マップ上での安定拡散条件により,人種と性別のバランスがとれるようにデザインされた多様な形状の顔画像を生成することができる。 我々は、3Dの監督や手動の3Dアセット作成を必要とせずに、NoWベンチマーク上での競合性能を実現する、SynthFaceでトレーニングされたディープニューラルネットワークであるControlFaceを提案する。
  論文  参考訳（メタデータ） (2023-07-25T16:42:06Z)
• Generating 2D and 3D Master Faces for Dictionary Attacks with a Network-Assisted Latent Space Evolution [68.8204255655161]
  マスターフェイス(英: master face)とは、人口の比率の高い顔認証をパスする顔画像である。 2次元および3次元の顔認証モデルに対して,これらの顔の最適化を行う。 3Dでは,2次元スタイルGAN2ジェネレータを用いて顔を生成し,深部3次元顔再構成ネットワークを用いて3次元構造を予測する。
  論文  参考訳（メタデータ） (2022-11-25T09:15:38Z)
• 3D Face Parsing via Surface Parameterization and 2D Semantic Segmentation Network [7.483526784933532]
  顔解析は、コンピュータの顔表現としてピクセル単位のセマンティックラベルを割り当てる。 近年の研究では3次元表面のセグメンテーションの異なる手法が導入されたが、性能は依然として限られている。 3D-2D-3D」戦略に基づく3次元顔解析手法を提案する。
  論文  参考訳（メタデータ） (2022-06-18T15:21:24Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• Gait Recognition in the Wild with Dense 3D Representations and A Benchmark [86.68648536257588]
  既存の歩行認識の研究は、制約されたシーンにおける人間の体のシルエットや骨格のような2D表現によって支配されている。 本稿では,野生における歩行認識のための高密度な3次元表現の探索を目的とする。 大規模な3D表現に基づく歩行認識データセットGait3Dを構築した。
  論文  参考訳（メタデータ） (2022-04-06T03:54:06Z)
• Generating Dataset For Large-scale 3D Facial Emotion Recognition [7.310043452300736]
  ラベル付き感情を持つ3次元顔の大規模なデータセットを生成する手法を提案する。 また,624,000個の顔スキャンで訓練した3D FERのためのディープ畳み込みニューラルネットワークを開発した。
  論文  参考訳（メタデータ） (2021-09-16T15:12:41Z)
• 3D-to-2D Distillation for Indoor Scene Parsing [78.36781565047656]
  大規模3次元データリポジトリから抽出した3次元特徴を有効活用し,RGB画像から抽出した2次元特徴を向上する手法を提案する。 まず,事前学習した3Dネットワークから3D知識を抽出して2Dネットワークを監督し,トレーニング中の2D特徴からシミュレーションされた3D特徴を学習する。 次に,2次元の正規化方式を設計し,2次元特徴と3次元特徴のキャリブレーションを行った。 第3に,非ペアの3dデータを用いたトレーニングのフレームワークを拡張するために,意味を意識した対向的トレーニングモデルを設計した。
  論文  参考訳（メタデータ） (2021-04-06T02:22:24Z)
• Multi-channel Deep 3D Face Recognition [4.726009758066045]
  2次元顔認証の精度は、ポーズ、照明、メイクアップ、表情の変化によって依然として疑問視されている。 本稿では,3次元顔データに基づく顔認識のためのマルチチャネルディープ3次元顔ネットワークを提案する。 マルチチャネル深部3次元顔ネットワークの顔認識精度は98.6。
  論文  参考訳（メタデータ） (2020-09-30T15:29:05Z)
• Differential 3D Facial Recognition: Adding 3D to Your State-of-the-Art 2D Method [90.26041504667451]
  能動照明を応用して最先端の2D顔認証手法を3次元特徴量で拡張できることが示唆された。 提案手法は顔認識性能を大幅に向上させ,スプーフィング攻撃に対するロバスト性を劇的に向上させる。
  論文  参考訳（メタデータ） (2020-04-03T20:17:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。