論文の概要: Lightweight Photometric Stereo for Facial Details Recovery

• arxiv url: http://arxiv.org/abs/2003.12307v1
• Date: Fri, 27 Mar 2020 10:10:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 05:12:39.803914
• Title: Lightweight Photometric Stereo for Facial Details Recovery
• Title（参考訳）: 顔明細回復のための軽量測光ステレオ
• Authors: Xueying Wang, Yudong Guo, Bailin Deng, Juyong Zhang
• Abstract要約: 単一画像からの3次元顔の再構成は、深層学習と事前知識の形状形成の助けを借りて大きな成功を収めた。 光度ステレオ法は、信頼性の高い幾何学的詳細を復元することができるが、密度の高い入力が必要であり、複雑な最適化問題を解く必要がある。 近接場光の下で撮像された画像で高忠実な顔形状を復元するために,スパース入力や単一画像のみを必要とする軽量な戦略を提案する。
• 参考スコア（独自算出の注目度）: 35.800139591947314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, 3D face reconstruction from a single image has achieved great success with the help of deep learning and shape prior knowledge, but they often fail to produce accurate geometry details. On the other hand, photometric stereo methods can recover reliable geometry details, but require dense inputs and need to solve a complex optimization problem. In this paper, we present a lightweight strategy that only requires sparse inputs or even a single image to recover high-fidelity face shapes with images captured under near-field lights. To this end, we construct a dataset containing 84 different subjects with 29 expressions under 3 different lights. Data augmentation is applied to enrich the data in terms of diversity in identity, lighting, expression, etc. With this constructed dataset, we propose a novel neural network specially designed for photometric stereo based 3D face reconstruction. Extensive experiments and comparisons demonstrate that our method can generate high-quality reconstruction results with one to three facial images captured under near-field lights. Our full framework is available at https://github.com/Juyong/FacePSNet.
• Abstract（参考訳）: 近年,1枚の画像からの3次元顔再構成は,ディープラーニングと事前知識の獲得によって大きな成功を収めているが,正確な幾何学的詳細は得られていないことが多い。 一方、測光ステレオ法は信頼性の高い幾何学的詳細を復元できるが、密度の高い入力が必要であり、複雑な最適化問題を解く必要がある。 本稿では, 近接場光下での撮像で高忠実度顔形状を復元するために, スパース入力や単一画像のみを必要とする軽量な戦略を提案する。 この目的のために、3つの異なる光の下で29の式を持つ84の異なる被写体を含むデータセットを構築する。 データ拡張は、アイデンティティ、照明、表現などの多様性の観点からデータを強化するために適用される。 この構築したデータセットを用いて,光度ステレオによる3次元顔再構成のためのニューラルネットワークを提案する。 広汎な実験と比較により, 近接場光下での顔画像の撮影により, 高品質な再構成結果が得られることが示された。 私たちのフレームワークはhttps://github.com/juyong/facepsnetで利用可能です。

関連論文リスト

• SIRA: Relightable Avatars from a Single Image [19.69326772087838]
  SIRAは人間の頭部アバターを高忠実度な形状と分解光と表面材料で再構成する手法である。 我々の重要な要素は、単視点3次元表面再構成と外観分解のあいまいさを解消するニューラルネットワークに基づく2つのデータ駆動統計モデルである。
  論文  参考訳（メタデータ） (2022-09-07T09:47:46Z)
• Self-calibrating Photometric Stereo by Neural Inverse Rendering [88.67603644930466]
  本稿では3次元オブジェクト再構成のための非校正光度ステレオの課題に取り組む。 本研究では,物体形状,光方向,光強度を協調的に最適化する手法を提案する。 本手法は,実世界のデータセット上での光推定と形状復元における最先端の精度を示す。
  論文  参考訳（メタデータ） (2022-07-16T02:46:15Z)
• Facial Geometric Detail Recovery via Implicit Representation [147.07961322377685]
  そこで本研究では,一眼の顔画像のみを用いて,テクスチャガイドを用いた幾何的細部復元手法を提案する。 提案手法は,高品質なテクスチャ補完と暗黙の面の強力な表現性を組み合わせたものである。 本手法は, 顔の正確な細部を復元するだけでなく, 正常部, アルベド部, シェーディング部を自己監督的に分解する。
  論文  参考訳（メタデータ） (2022-03-18T01:42:59Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
  多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。 我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。 本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
  論文  参考訳（メタデータ） (2021-10-11T20:20:03Z)
• SIDER: Single-Image Neural Optimization for Facial Geometric Detail Recovery [54.64663713249079]
  SIDERは、教師なしの方法で単一の画像から詳細な顔形状を復元する新しい光度最適化手法である。 以前の作業とは対照的に、SIDERはデータセットの事前に依存せず、複数のビュー、照明変更、地上の真実の3D形状から追加の監視を必要としない。
  論文  参考訳（メタデータ） (2021-08-11T22:34:53Z)
• LUCES: A Dataset for Near-Field Point Light Source Photometric Stereo [30.31403197697561]
  LUCESは, 様々な素材の14個のオブジェクトからなる, 近距離Ld点光のための最初の実世界のデータセットである。 52個のLEDを計る装置は、カメラから10から30cm離れた位置にある各物体に点灯するように設計されている。 提案するデータセットにおける最新の近接場測光ステレオアルゴリズムの性能評価を行った。
  論文  参考訳（メタデータ） (2021-04-27T12:30:42Z)
• Learning to Detect 3D Reflection Symmetry for Single-View Reconstruction [32.14605731030579]
  単一のRGB画像からの3D再構成は、コンピュータビジョンにおいて難しい問題である。 従来の手法は通常データ駆動であり、不正確な3次元形状の復元と限定的な一般化能力をもたらす。 本稿では,人造物体によく見られる反射対称性の鏡面を初めて検出し,その対称性の画素内対応を見いだして深度マップを予測する。
  論文  参考訳（メタデータ） (2020-06-17T17:58:59Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。