論文の概要: High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies

• arxiv url: http://arxiv.org/abs/2010.05562v2
• Date: Tue, 29 Jun 2021 09:51:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 07:54:07.672980
• Title: High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies
• Title（参考訳）: RGB-D自撮りによる高忠実な3次元デジタル人頭作成
• Authors: Linchao Bao, Xiangkai Lin, Yajing Chen, Haoxian Zhang, Sheng Wang, Xuefei Zhe, Di Kang, Haozhi Huang, Xinwei Jiang, Jue Wang, Dong Yu, Zhengyou Zhang
• Abstract要約: コンシューマ向けRGB-D自撮りカメラを用いて,高忠実でリアルな3Dデジタルヘッドを製作できる完全自動システムを提案する。 このシステムは、頭を回転させながら短い自撮りのRGB-Dビデオを撮ることしか必要とせず、高品質なヘッドを30秒未満で再現できる。
• 参考スコア（独自算出の注目度）: 41.74253269778287
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a fully automatic system that can produce high-fidelity, photo-realistic 3D digital human heads with a consumer RGB-D selfie camera. The system only needs the user to take a short selfie RGB-D video while rotating his/her head, and can produce a high quality head reconstruction in less than 30 seconds. Our main contribution is a new facial geometry modeling and reflectance synthesis procedure that significantly improves the state-of-the-art. Specifically, given the input video a two-stage frame selection procedure is first employed to select a few high-quality frames for reconstruction. Then a differentiable renderer based 3D Morphable Model (3DMM) fitting algorithm is applied to recover facial geometries from multiview RGB-D data, which takes advantages of a powerful 3DMM basis constructed with extensive data generation and perturbation. Our 3DMM has much larger expressive capacities than conventional 3DMM, allowing us to recover more accurate facial geometry using merely linear basis. For reflectance synthesis, we present a hybrid approach that combines parametric fitting and CNNs to synthesize high-resolution albedo/normal maps with realistic hair/pore/wrinkle details. Results show that our system can produce faithful 3D digital human faces with extremely realistic details. The main code and the newly constructed 3DMM basis is publicly available.
• Abstract（参考訳）: 消費者のrgb-d自撮りカメラで高精細な3dデジタルヘッドを製作できる完全自動システムを提案する。 このシステムは、頭を回転させながら短い自撮りのRGB-Dビデオを撮ることしか必要とせず、高品質なヘッドを30秒未満で再現できる。 我々の主な貢献は、新しい顔形状モデリングと反射率合成法であり、最先端技術を大幅に改善する。 具体的には、入力ビデオからまず2段階のフレーム選択手順を用いて、いくつかの高品質なフレームを復元する。 次に、多視点RGB-Dデータから顔のジオメトリを復元するために、微分可能なレンダラベース3Dモーフィブルモデル(3DMM)を適用するアルゴリズムを適用し、広範囲なデータ生成と摂動で構築された強力な3DMMベースの利点を生かした。 我々の3DMMは従来の3DMMよりもはるかに大きな表現能力を持ち、単に線形ベースでより正確な顔形状を復元することができる。 リフレクタンス合成のために,パラメトリックフィッティングとCNNを組み合わせて,高分解能アルベド/ノーマルマップとリアルヘア/ポア/シリンクルの詳細を合成するハイブリッドアプローチを提案する。 その結果,本システムは極めてリアルなディテールを持つ忠実な3dデジタル顔を生成することができることがわかった。 メインコードと新たに構築された3DMMベースが公開されている。

関連論文リスト

• ID-to-3D: Expressive ID-guided 3D Heads via Score Distillation Sampling [96.87575334960258]
  ID-to-3D(ID-to-3D)は、不整合表現を用いたIDとテキスト誘導型3次元頭部を生成する方法である。 前例のないアイデンティティ一貫性と高品質なテクスチャと幾何生成を実現する。
  論文  参考訳（メタデータ） (2024-05-26T13:36:45Z)
• VRMM: A Volumetric Relightable Morphable Head Model [55.21098471673929]
  本稿では,3次元顔モデリングに先立って,新しい容積・パラメトリック顔モデルであるVRMMを紹介する。 我々のフレームワークは、アイデンティティ、表現、照明の潜在空間を、低次元の表現に効率的に切り離し、エンコードする。 我々は,アバター生成,顔の再構成,アニメーションなどの様々な応用を通じて,VRMMの汎用性と有効性を示す。
  論文  参考訳（メタデータ） (2024-02-06T15:55:46Z)
• Learning Personalized High Quality Volumetric Head Avatars from Monocular RGB Videos [47.94545609011594]
  本研究では,野生で撮影されたモノクロRGBビデオから高品質な3次元頭部アバターを学習する方法を提案する。 我々のハイブリッドパイプラインは、3DMMの幾何学的先行と動的追跡とニューラルラディアンス場を組み合わせることで、きめ細かい制御とフォトリアリズムを実現する。
  論文  参考訳（メタデータ） (2023-04-04T01:10:04Z)
• SIRA: Relightable Avatars from a Single Image [19.69326772087838]
  SIRAは人間の頭部アバターを高忠実度な形状と分解光と表面材料で再構成する手法である。 我々の重要な要素は、単視点3次元表面再構成と外観分解のあいまいさを解消するニューラルネットワークに基づく2つのデータ駆動統計モデルである。
  論文  参考訳（メタデータ） (2022-09-07T09:47:46Z)
• FaceVerse: a Fine-grained and Detail-controllable 3D Face Morphable Model from a Hybrid Dataset [36.688730105295015]
  FaceVerseは60Kの融合RGB-D画像と2Kの高忠実度3Dヘッドスキャンモデルを含むハイブリッド東アジアの顔データセットから構築されている。 粗いモジュールでは、大規模なRGB-D画像からベースパラメトリックモデルを生成し、性別や年齢などによって正確な3D顔モデルを予測することができる。 高忠実度スキャンモデルで訓練された条件付きスタイルGANアーキテクチャを導入し、精巧な顔の幾何学的およびテクスチャ的詳細を表現した。
  論文  参考訳（メタデータ） (2022-03-26T12:13:14Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。