論文の概要: FaceVerse: a Fine-grained and Detail-changeable 3D Neural Face Model
from a Hybrid Dataset
- arxiv url: http://arxiv.org/abs/2203.14057v1
- Date: Sat, 26 Mar 2022 12:13:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-29 14:38:42.187792
- Title: FaceVerse: a Fine-grained and Detail-changeable 3D Neural Face Model
from a Hybrid Dataset
- Title（参考訳）: FaceVerse: ハイブリッドデータセットからの細粒度で詳細変更可能な3Dニューラルフェイスモデル
- Authors: Lizhen Wang, Zhiyuan Chen, Tao Yu, Chenguang Ma, Liang Li, Yebin Liu
- Abstract要約: FaceVerseは60Kの融合RGB-D画像と2Kの高忠実度3Dヘッドスキャンモデルを含むハイブリッド東アジアの顔データセットから構築されている。
粗いモジュールでは、大規模なRGB-D画像からベースパラメトリックモデルを生成し、性別や年齢などによって正確な3D顔モデルを予測することができる。
高忠実度スキャンモデルで訓練された条件付きスタイルGANアーキテクチャを導入し、精巧な顔の幾何学的およびテクスチャ的詳細を表現した。
- 参考スコア（独自算出の注目度）: 36.688730105295015
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present FaceVerse, a fine-grained 3D Neural Face Model, which is built
from hybrid East Asian face datasets containing 60K fused RGB-D images and 2K
high-fidelity 3D head scan models. A novel coarse-to-fine structure is proposed
to take better advantage of our hybrid dataset. In the coarse module, we
generate a base parametric model from large-scale RGB-D images, which is able
to predict accurate rough 3D face models in different genders, ages, etc. Then
in the fine module, a conditional StyleGAN architecture trained with
high-fidelity scan models is introduced to enrich elaborate facial geometric
and texture details. Note that different from previous methods, our base and
detailed modules are both changeable, which enables an innovative application
of adjusting both the basic attributes and the facial details of 3D face
models. Furthermore, we propose a single-image fitting framework based on
differentiable rendering. Rich experiments show that our method outperforms the
state-of-the-art methods.
- Abstract（参考訳）: 我々は60Kの融合RGB-D画像と2Kの高忠実度3Dヘッドスキャンモデルを含む東アジアのハイブリッド顔データセットから構築した3DニューラルフェイスモデルであるFaceVerseを紹介する。
ハイブリッドデータセットをより有効活用するために,新しい粗粒間構造を提案する。
粗いモジュールでは、大規模なRGB-D画像からベースパラメトリックモデルを生成し、性別や年齢などによって正確な3D顔モデルを予測することができる。
次に、高忠実度スキャンモデルで訓練された条件付きスタイルGANアーキテクチャを導入し、精巧な顔の幾何学的およびテクスチャ的詳細を具体化する。
従来の手法と異なり、ベースモジュールとディテールモジュールはどちらも変更可能であり、基本的な属性と3D顔モデルの顔の詳細の両方を調整する革新的な応用を可能にする。
さらに,微分可能レンダリングに基づく単一画像適合フレームワークを提案する。
実験により,本手法は最先端の手法よりも優れていることが示された。
関連論文リスト
- Single-Shot Implicit Morphable Faces with Consistent Texture
Parameterization [91.52882218901627]
本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。
本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
論文 参考訳（メタデータ） (2023-05-04T17:58:40Z) - A Hierarchical Representation Network for Accurate and Detailed Face
Reconstruction from In-The-Wild Images [15.40230841242637]
本稿では,1つの画像から正確な顔再構成を実現するために,新しい階層型表現ネットワーク(HRN)を提案する。
我々のフレームワークは、異なるビューの詳細な一貫性を考慮し、マルチビューに拡張することができる。
本手法は,再現精度と視覚効果の両方において既存手法より優れる。
論文 参考訳（メタデータ） (2023-02-28T09:24:36Z) - Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。
我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。
我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
論文 参考訳（メタデータ） (2022-04-21T03:42:31Z) - Facial Geometric Detail Recovery via Implicit Representation [147.07961322377685]
そこで本研究では,一眼の顔画像のみを用いて,テクスチャガイドを用いた幾何的細部復元手法を提案する。
提案手法は,高品質なテクスチャ補完と暗黙の面の強力な表現性を組み合わせたものである。
本手法は, 顔の正確な細部を復元するだけでなく, 正常部, アルベド部, シェーディング部を自己監督的に分解する。
論文 参考訳（メタデータ） (2022-03-18T01:42:59Z) - AvatarMe++: Facial Shape and BRDF Inference with Photorealistic
Rendering-Aware GANs [119.23922747230193]
そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。
本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
論文 参考訳（メタデータ） (2021-12-11T11:36:30Z) - FaceScape: 3D Facial Dataset and Benchmark for Single-View 3D Face
Reconstruction [29.920622006999732]
大規模な3次元顔データセット、FaceScape、およびそれに対応するベンチマークを提示し、単視点顔の3次元再構成を評価する。
FaceScapeデータをトレーニングすることにより、単一の画像入力から精巧な3次元顔モデルを予測する新しいアルゴリズムを提案する。
また、FaceScapeデータを用いて、最新の単一視点顔再構成手法の評価を行う。
論文 参考訳（メタデータ） (2021-11-01T16:48:34Z) - Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face
Reconstruction [76.1612334630256]
我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。
3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
論文 参考訳（メタデータ） (2021-05-16T16:35:44Z) - OSTeC: One-Shot Texture Completion [86.23018402732748]
ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。
提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。
完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
論文 参考訳（メタデータ） (2020-12-30T23:53:26Z) - JNR: Joint-based Neural Rig Representation for Compact 3D Face Modeling [22.584569656416864]
関節型顔リグとニューラルスキンネットワークを用いた3次元顔モデル学習手法を提案する。
結合型表現のおかげで、我々のモデルは以前のブレンドシェープモデルよりもいくつかの大きな利点を享受できる。
論文 参考訳（メタデータ） (2020-07-14T01:21:37Z) - FaceScape: a Large-scale High Quality 3D Face Dataset and Detailed
Riggable 3D Face Prediction [39.95272819738226]
単一画像入力から精巧な3次元顔モデルを予測できる新しいアルゴリズムを提案する。
FaceScapeデータセットは18,760のテクスチャ付き3D顔を提供する。
論文 参考訳（メタデータ） (2020-03-31T07:11:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。