論文の概要: Monocular Reconstruction of Neural Face Reflectance Fields
- arxiv url: http://arxiv.org/abs/2008.10247v1
- Date: Mon, 24 Aug 2020 08:19:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 11:40:15.166636
- Title: Monocular Reconstruction of Neural Face Reflectance Fields
- Title（参考訳）: 神経面反射野の単眼的再構成
- Authors: Mallikarjun B R. (1), Ayush Tewari (1), Tae-Hyun Oh (2), Tim Weyrich
(3), Bernd Bickel (4), Hans-Peter Seidel (1), Hanspeter Pfister (5), Wojciech
Matusik (6), Mohamed Elgharib (1), Christian Theobalt (1) ((1) Max Planck
Institute for Informatics, Saarland Informatics Campus, (2) POSTECH, (3)
University College London, (4) IST Austria, (5) Harvard University, (6) MIT
CSAIL)
- Abstract要約: 顔の反射場は、複雑な照明効果の原因となる反射特性を記述する。
モノクル画像から顔の反射率を推定する既存の手法は、特異成分を加えるアプローチはほとんどないが、顔は拡散していると仮定している。
顔反射に対する新しいニューラル表現法を提案し、単一の単眼画像から最終出現に寄与する反射の全ての成分を推定する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The reflectance field of a face describes the reflectance properties
responsible for complex lighting effects including diffuse, specular,
inter-reflection and self shadowing. Most existing methods for estimating the
face reflectance from a monocular image assume faces to be diffuse with very
few approaches adding a specular component. This still leaves out important
perceptual aspects of reflectance as higher-order global illumination effects
and self-shadowing are not modeled. We present a new neural representation for
face reflectance where we can estimate all components of the reflectance
responsible for the final appearance from a single monocular image. Instead of
modeling each component of the reflectance separately using parametric models,
our neural representation allows us to generate a basis set of faces in a
geometric deformation-invariant space, parameterized by the input light
direction, viewpoint and face geometry. We learn to reconstruct this
reflectance field of a face just from a monocular image, which can be used to
render the face from any viewpoint in any light condition. Our method is
trained on a light-stage training dataset, which captures 300 people
illuminated with 150 light conditions from 8 viewpoints. We show that our
method outperforms existing monocular reflectance reconstruction methods, in
terms of photorealism due to better capturing of physical premitives, such as
sub-surface scattering, specularities, self-shadows and other higher-order
effects.
- Abstract（参考訳）: 顔の反射場は、拡散、スペクトル、反射間、自己陰影などの複雑な照明効果の原因となる反射特性を記述する。
モノクル画像から顔の反射率を推定する既存の手法は、特異成分を加えるアプローチはほとんどないが、顔は拡散していると仮定している。
これはなお、高次大域照明効果や自己シャドーイングがモデル化されていないため、反射性の重要な知覚的側面を除外している。
顔反射に対する新しいニューラル表現法を提案し、単一の単眼画像から最終出現に寄与する反射の全ての成分を推定する。
パラメトリックモデルを用いて反射率の各成分を別々にモデル化するのではなく、入力光方向、視点、顔形状によってパラメータ化された幾何学的変形不変空間における顔の基本セットを生成することができる。
我々は、任意の光条件において、任意の視点から顔をレンダリングするために使用できる単眼像から、この面の反射場を再構成することを学ぶ。
本手法は,8つの視点から,150光条件で照らされた300人を対象に,光ステージトレーニングデータセットを用いてトレーニングを行う。
本手法は, サブサーフェス散乱, スペキュラリティ, 自己シャドウ, その他の高次効果などの物理前駆体の捕捉性が向上し, フォトリアリズムの観点から, 既存の単眼反射率再構成法よりも優れることを示す。
関連論文リスト
- Photometric Inverse Rendering: Shading Cues Modeling and Surface Reflectance Regularization [46.146783750386994]
本稿では,ニューラル・リバース・レンダリングの新しい手法を提案する。
画像の自己陰影を考慮した光源位置の最適化を行う。
表面反射率の分解性を高めるために,新しい正則化を導入する。
論文 参考訳（メタデータ） (2024-08-13T11:39:14Z) - NeRSP: Neural 3D Reconstruction for Reflective Objects with Sparse Polarized Images [62.752710734332894]
NeRSPはスパース偏光画像を用いた反射面のニューラル3次元再構成技術である。
偏光画像形成モデルと多視点方位整合性から測光的および幾何学的手がかりを導出する。
我々は6つのビューのみを入力として、最先端の表面再構成結果を達成する。
論文 参考訳（メタデータ） (2024-06-11T09:53:18Z) - Monocular Identity-Conditioned Facial Reflectance Reconstruction [71.90507628715388]
既存の方法は、顔の反射率モデルを学ぶために、大量の光ステージキャプチャーデータに依存している。
我々は、UV空間ではなく画像空間で反射率を学習し、ID2Reflectanceというフレームワークを提案する。
本フレームワークは,訓練に限られた反射率データを用いながら,単一の画像の反射率マップを直接推定することができる。
論文 参考訳（メタデータ） (2024-03-30T09:43:40Z) - Robust Geometry and Reflectance Disentanglement for 3D Face
Reconstruction from Sparse-view Images [12.648827250749587]
本稿では,スパースビュー画像から人間の顔を再構成するための新しい2段階のアプローチを提案する。
本手法は, 周囲光からの形状, 拡散反射, スペクトル反射など, 顔の特徴を分解することに焦点を当てている。
論文 参考訳（メタデータ） (2023-12-11T03:14:58Z) - Ref-NeuS: Ambiguity-Reduced Neural Implicit Surface Learning for
Multi-View Reconstruction with Reflection [24.23826907954389]
Ref-NeuSは反射面の効果を減衰させることで曖昧さを減らすことを目的としている。
本研究では,反射面上での高品質な表面再構成を実現し,その精度を高いマージンで向上することを示す。
論文 参考訳（メタデータ） (2023-03-20T03:08:22Z) - NeRFactor: Neural Factorization of Shape and Reflectance Under an
Unknown Illumination [60.89737319987051]
照明条件が不明な物体の多視点像から物体の形状と空間的反射率を復元する問題に対処する。
これにより、任意の環境照明下でのオブジェクトの新たなビューのレンダリングや、オブジェクトの材料特性の編集が可能になる。
論文 参考訳（メタデータ） (2021-06-03T16:18:01Z) - Predicting Surface Reflectance Properties of Outdoor Scenes Under
Unknown Natural Illumination [6.767885381740952]
本稿では,未知の自然照明下での屋外シーンの表面反射特性を予測するための完全な枠組みを提案する。
BRDFの入射光と出射方向を含む2つの構成成分に問題を再計算します。
反射率特性の予測によるレンダリングが視覚的にテクスチャと類似していることを示す実験を行った。
論文 参考訳（メタデータ） (2021-05-14T13:31:47Z) - Towards High Fidelity Monocular Face Reconstruction with Rich
Reflectance using Self-supervised Learning and Ray Tracing [49.759478460828504]
ディープニューラルネットワークエンコーダと異なるレンダリングを組み合わせた手法が、幾何学、照明、反射の非常に高速な単分子再構成の道を開いた。
古典的な最適化ベースのフレームワーク内での単眼顔再構築のためにレイトレースが導入されました。
一般シーンにおける復元品質と堅牢性を大幅に向上させる新しい手法を提案します。
論文 参考訳（メタデータ） (2021-03-29T08:58:10Z) - Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。
我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
論文 参考訳（メタデータ） (2020-08-09T22:04:36Z) - Polarized Reflection Removal with Perfect Alignment in the Wild [66.48211204364142]
野生の偏光画像からの反射を除去するための新しい定式化法を提案する。
まず、既存のリフレクション除去データセットの不整合問題を同定する。
我々は100種類以上のガラスを用いた新しいデータセットを構築し、得られた透過画像は入力された混合画像と完全に一致している。
論文 参考訳（メタデータ） (2020-03-28T13:29:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。