論文の概要: Self-supervised High-fidelity and Re-renderable 3D Facial Reconstruction from a Single Image

• arxiv url: http://arxiv.org/abs/2111.08282v1
• Date: Tue, 16 Nov 2021 08:10:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-17 15:23:39.946484
• Title: Self-supervised High-fidelity and Re-renderable 3D Facial Reconstruction from a Single Image
• Title（参考訳）: 自己教師付き高忠実度再生型3次元顔画像再構成
• Authors: Mingxin Yang, Jianwei Guo, Zhanglin Cheng, Xiaopeng Zhang, Dong-Ming Yan
• Abstract要約: そこで本研究では,高品質な3次元顔の再構築を目的とした,新たな自己教師型学習フレームワークを提案する。 我々のフレームワークは質的比較と量的比較の両方において最先端のアプローチを大幅に上回っている。
• 参考スコア（独自算出の注目度）: 19.0074836183624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing high-fidelity 3D facial texture from a single image is a challenging task since the lack of complete face information and the domain gap between the 3D face and 2D image. The most recent works tackle facial texture reconstruction problem by applying either generation-based or reconstruction-based methods. Although each method has its own advantage, none of them is capable of recovering a high-fidelity and re-renderable facial texture, where the term 're-renderable' demands the facial texture to be spatially complete and disentangled with environmental illumination. In this paper, we propose a novel self-supervised learning framework for reconstructing high-quality 3D faces from single-view images in-the-wild. Our main idea is to first utilize the prior generation module to produce a prior albedo, then leverage the detail refinement module to obtain detailed albedo. To further make facial textures disentangled with illumination, we present a novel detailed illumination representation which is reconstructed with the detailed albedo together. We also design several regularization loss functions on both the albedo side and illumination side to facilitate the disentanglement of these two factors. Finally, thanks to the differentiable rendering technique, our neural network can be efficiently trained in a self-supervised manner. Extensive experiments on challenging datasets demonstrate that our framework substantially outperforms state-of-the-art approaches in both qualitative and quantitative comparisons.
• Abstract（参考訳）: 1枚の画像から高精細な3d顔のテクスチャを再構成することは、完全な顔情報と3d顔と2d画像との領域ギャップの欠如から難しい課題である。 直近の研究では, 顔のテクスチャ再構築問題に対して, 生成法と再構成法の両方を適用した。 それぞれの方法には独自の利点があるが、高忠実度で再現性のある顔のテクスチャを回復する能力は無く、「再現性」という用語は、顔のテクスチャを空間的に完全かつ環境照明と絡み合うように要求する。 本稿では,高品質な3d顔の再現のための自己教師あり学習フレームワークを提案する。 第一の考え方は、まず前世代のモジュールを使用して前世代のアルベドを生成し、次に細部の改良モジュールを利用して詳細なアルベドを得ることです。 さらに, 照明による顔のテクスチャを解消するために, 詳細なアルベドで再構成した, 詳細な照明表現を提案する。 また,アルベド側と照明側の両方の正則化損失関数をいくつか設計し,これら2つの因子の絡み合いを緩和した。 最後に、差別化可能なレンダリング技術のおかげで、ニューラルネットワークを自己管理的な方法で効率的にトレーニングすることができる。 挑戦的データセットに関する大規模な実験により、我々のフレームワークは質的および定量的比較において最先端のアプローチを大幅に上回っていることが示された。

関連論文リスト

• A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images [15.40230841242637]
  本稿では,1つの画像から正確な顔再構成を実現するために,新しい階層型表現ネットワーク(HRN)を提案する。 我々のフレームワークは、異なるビューの詳細な一貫性を考慮し、マルチビューに拡張することができる。 本手法は,再現精度と視覚効果の両方において既存手法より優れる。
  論文  参考訳（メタデータ） (2023-02-28T09:24:36Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• Unsupervised High-Fidelity Facial Texture Generation and Reconstruction [20.447635896077454]
  本稿では,タスクとテクスチャの生成,高忠実度テクスチャの回復という新たな統合パイプラインを提案する。 テクスチャモデルでは,テクスチャマップのスキャンとは対照的に,自然画像から教師なしでテクスチャモデルを学習する。 正確な3DMMフィッティングを適用することで、モデル化したテクスチャを合成生成した背景画像にシームレスに統合することができる。
  論文  参考訳（メタデータ） (2021-10-10T10:59:04Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)
• Face Super-Resolution Guided by 3D Facial Priors [92.23902886737832]
  シャープな顔構造を把握した3次元顔先行情報を明示的に組み込んだ新しい顔超解像法を提案する。 我々の研究は、顔属性のパラメトリック記述の融合に基づく3次元形態的知識を初めて探求したものである。 提案した3D先行画像は、最先端技術よりも優れた顔超解像結果が得られる。
  論文  参考訳（メタデータ） (2020-07-18T15:26:07Z)
• AvatarMe: Realistically Renderable 3D Facial Reconstruction "in-the-wild" [105.28776215113352]
  AvatarMe は、1つの "in-the-wild" 画像から高精細度で光リアルな3D顔を再構成できる最初の方法である。 6K解像度の3D画像を1枚の低解像度画像から再現する。
  論文  参考訳（メタデータ） (2020-03-30T22:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。