論文の概要: Robust Geometry and Reflectance Disentanglement for 3D Face Reconstruction from Sparse-view Images

• arxiv url: http://arxiv.org/abs/2312.06085v1
• Date: Mon, 11 Dec 2023 03:14:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 17:02:49.511658
• Title: Robust Geometry and Reflectance Disentanglement for 3D Face Reconstruction from Sparse-view Images
• Title（参考訳）: スパース画像からの3次元顔再構成のためのロバスト形状と反射歪
• Authors: Daisheng Jin, Jiangbei Hu, Baixin Xu, Yuxin Dai, Chen Qian, Ying He
• Abstract要約: 本稿では,スパースビュー画像から人間の顔を再構成するための新しい2段階のアプローチを提案する。 本手法は, 周囲光からの形状, 拡散反射, スペクトル反射など, 顔の特徴を分解することに焦点を当てている。
• 参考スコア（独自算出の注目度）: 12.648827250749587
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a novel two-stage approach for reconstructing human faces from sparse-view images, a task made challenging by the unique geometry and complex skin reflectance of each individual. Our method focuses on decomposing key facial attributes, including geometry, diffuse reflectance, and specular reflectance, from ambient light. Initially, we create a general facial template from a diverse collection of individual faces, capturing essential geometric and reflectance characteristics. Guided by this template, we refine each specific face model in the second stage, which further considers the interaction between geometry and reflectance, as well as the subsurface scattering effects on facial skin. Our method enables the reconstruction of high-quality facial representations from as few as three images, offering improved geometric accuracy and reflectance detail. Through comprehensive evaluations and comparisons, our method demonstrates superiority over existing techniques. Our method effectively disentangles geometry and reflectance components, leading to enhanced quality in synthesizing new views and opening up possibilities for applications such as relighting and reflectance editing. We will make the code publicly available.
• Abstract（参考訳）: 本稿では,各人物の特異な形状と複雑な肌の反射率に挑戦する課題であるスパースビュー画像から人間の顔を再構成するための新しい2段階のアプローチを提案する。 本手法は, 周囲光からの形状, 拡散反射, スペクトル反射など, 顔の特徴を分解することに焦点を当てている。 最初は、多様な顔の集合から一般的な顔テンプレートを作成し、重要な幾何学的特徴と反射特性を捉える。 このテンプレートを導いた第2段階では, 各顔モデルの改良を行い, 形状と反射率の相互作用, 顔の皮膚への表面散乱効果を考察した。 提案手法により,3つの画像から高品質な顔画像の再構成が可能となり,精度と反射率の精度が向上した。 包括的評価と比較を通して,本手法は既存の手法よりも優れていることを示す。 提案手法は,幾何成分と反射率成分を効果的に切り離し,新しいビューを合成し,リフレクションやリフレクタンス編集などの応用の可能性を高める。 私たちはそのコードを公開します。

関連論文リスト

• NeRSP: Neural 3D Reconstruction for Reflective Objects with Sparse Polarized Images [62.752710734332894]
  NeRSPはスパース偏光画像を用いた反射面のニューラル3次元再構成技術である。 偏光画像形成モデルと多視点方位整合性から測光的および幾何学的手がかりを導出する。 我々は6つのビューのみを入力として、最先端の表面再構成結果を達成する。
  論文  参考訳（メタデータ） (2024-06-11T09:53:18Z)
• Monocular Identity-Conditioned Facial Reflectance Reconstruction [71.90507628715388]
  既存の方法は、顔の反射率モデルを学ぶために、大量の光ステージキャプチャーデータに依存している。 我々は、UV空間ではなく画像空間で反射率を学習し、ID2Reflectanceというフレームワークを提案する。 本フレームワークは,訓練に限られた反射率データを用いながら,単一の画像の反射率マップを直接推定することができる。
  論文  参考訳（メタデータ） (2024-03-30T09:43:40Z)
• A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images [15.40230841242637]
  本稿では,1つの画像から正確な顔再構成を実現するために,新しい階層型表現ネットワーク(HRN)を提案する。 我々のフレームワークは、異なるビューの詳細な一貫性を考慮し、マルチビューに拡張することができる。 本手法は,再現精度と視覚効果の両方において既存手法より優れる。
  論文  参考訳（メタデータ） (2023-02-28T09:24:36Z)
• S2F2: Self-Supervised High Fidelity Face Reconstruction from Monocular Image [2.469794902645761]
  単一画像から空間的に変化する顔の反射率の詳細な顔形状を再構成する新しい顔再構成法を提案する。 最先端の手法と比較して,本手法はより視覚的に魅力的な再構築を実現する。
  論文  参考訳（メタデータ） (2022-03-15T08:55:45Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• SIDER: Single-Image Neural Optimization for Facial Geometric Detail Recovery [54.64663713249079]
  SIDERは、教師なしの方法で単一の画像から詳細な顔形状を復元する新しい光度最適化手法である。 以前の作業とは対照的に、SIDERはデータセットの事前に依存せず、複数のビュー、照明変更、地上の真実の3D形状から追加の監視を必要としない。
  論文  参考訳（メタデータ） (2021-08-11T22:34:53Z)
• Towards High Fidelity Monocular Face Reconstruction with Rich Reflectance using Self-supervised Learning and Ray Tracing [49.759478460828504]
  ディープニューラルネットワークエンコーダと異なるレンダリングを組み合わせた手法が、幾何学、照明、反射の非常に高速な単分子再構成の道を開いた。 古典的な最適化ベースのフレームワーク内での単眼顔再構築のためにレイトレースが導入されました。 一般シーンにおける復元品質と堅牢性を大幅に向上させる新しい手法を提案します。
  論文  参考訳（メタデータ） (2021-03-29T08:58:10Z)
• Monocular Reconstruction of Neural Face Reflectance Fields [0.0]
  顔の反射場は、複雑な照明効果の原因となる反射特性を記述する。 モノクル画像から顔の反射率を推定する既存の手法は、特異成分を加えるアプローチはほとんどないが、顔は拡散していると仮定している。 顔反射に対する新しいニューラル表現法を提案し、単一の単眼画像から最終出現に寄与する反射の全ての成分を推定する。
  論文  参考訳（メタデータ） (2020-08-24T08:19:05Z)
• Self-Supervised Monocular 3D Face Reconstruction by Occlusion-Aware Multi-view Geometry Consistency [40.56510679634943]
  マルチビュー幾何整合性を利用した自己教師付きトレーニングアーキテクチャを提案する。 画素の整合性損失,奥行きの整合性損失,顔のランドマークに基づくエピポーラロスを含む,多視点整合性のための3つの新しい損失関数を設計する。 提案手法は精度が高く,特に多彩な表現,ポーズ,照明条件下では堅牢である。
  論文  参考訳（メタデータ） (2020-07-24T12:36:09Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。