論文の概要: Practical Face Reconstruction via Differentiable Ray Tracing

• arxiv url: http://arxiv.org/abs/2101.05356v1
• Date: Wed, 13 Jan 2021 21:36:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 07:53:15.517066
• Title: Practical Face Reconstruction via Differentiable Ray Tracing
• Title（参考訳）: 微分型レイトレーシングによる実用的顔再建
• Authors: Abdallah Dib, Gaurav Bharaj, Junghyun Ahn, C\'edric Th\'ebault, Philippe-Henri Gosselin, Marco Romeo, Louis Chevallier
• Abstract要約: 我々は,光線トレーシングに基づく新しい顔再構成手法を提案する。 シーン属性 - 3Dジオメトリ、反射率(拡散、スペクトルおよび粗さ)、ポーズ、カメラパラメータ、シーン照明 - は、制約のない単眼画像から推定されます。 極端な照明条件下でも顔の属性を推定できる現実世界のシナリオにおいて,我々のアプローチの有効性を示す。
• 参考スコア（独自算出の注目度）: 3.481486869779035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a differentiable ray-tracing based novel face reconstruction approach where scene attributes - 3D geometry, reflectance (diffuse, specular and roughness), pose, camera parameters, and scene illumination - are estimated from unconstrained monocular images. The proposed method models scene illumination via a novel, parameterized virtual light stage, which in-conjunction with differentiable ray-tracing, introduces a coarse-to-fine optimization formulation for face reconstruction. Our method can not only handle unconstrained illumination and self-shadows conditions, but also estimates diffuse and specular albedos. To estimate the face attributes consistently and with practical semantics, a two-stage optimization strategy systematically uses a subset of parametric attributes, where subsequent attribute estimations factor those previously estimated. For example, self-shadows estimated during the first stage, later prevent its baking into the personalized diffuse and specular albedos in the second stage. We show the efficacy of our approach in several real-world scenarios, where face attributes can be estimated even under extreme illumination conditions. Ablation studies, analyses and comparisons against several recent state-of-the-art methods show improved accuracy and versatility of our approach. With consistent face attributes reconstruction, our method leads to several style -- illumination, albedo, self-shadow -- edit and transfer applications, as discussed in the paper.
• Abstract（参考訳）: 本研究では,3次元形状,反射率(拡散,鏡面および粗さ),ポーズ,カメラパラメータ,およびシーン照明などの特徴を,無拘束単眼画像から推定する,微分可能なレイトレーシングに基づく新しい顔再構成手法を提案する。 提案手法は, 顔再構成のための粗大な最適化式を導入し, パラメータ化された仮想光ステージによるシーン照明をモデル化する。 本手法は,無拘束照明や自己シャドウ条件を処理できるだけでなく,拡散および鏡面アルベドを推定できる。 顔属性を一貫して実用的な意味論的に推定するために、2段階最適化戦略はパラメトリック属性のサブセットを体系的に使用する。 例えば、自己陰影は第1段階で推定され、後に第2段階におけるパーソナライズされた拡散と特異なアルベドへの焼き込みを防ぐ。 本手法は,過度な照明条件下でも顔属性を推定できる実世界シナリオでの有効性を示す。 近年の最先端手法に対するアブレーション研究,解析,比較の結果,提案手法の精度と汎用性は向上した。 一貫性のある顔属性の再構成により,本手法は照明,アルベド,自己陰影といった様々なスタイルのアプリケーションの作成と転送を行う。

関連論文リスト

• Robust Geometry and Reflectance Disentanglement for 3D Face Reconstruction from Sparse-view Images [12.648827250749587]
  本稿では,スパースビュー画像から人間の顔を再構成するための新しい2段階のアプローチを提案する。 本手法は, 周囲光からの形状, 拡散反射, スペクトル反射など, 顔の特徴を分解することに焦点を当てている。
  論文  参考訳（メタデータ） (2023-12-11T03:14:58Z)
• Diffusion Posterior Illumination for Ambiguity-aware Inverse Rendering [63.24476194987721]
  画像からシーン特性を推定する逆レンダリングは、困難な逆問題である。 既存のソリューションの多くは、プリエントを逆レンダリングパイプラインに組み込んで、プラウシブルなソリューションを奨励している。 本稿では,自然照明マップ上で事前学習した確率拡散モデルを最適化フレームワークに統合する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T12:39:28Z)
• Factored-NeuS: Reconstructing Surfaces, Illumination, and Materials of Possibly Glossy Objects [46.04357263321969]
  提案する多視点画像からシーンの表面, 材料, 照明を復元する手法を開発した。 追加のデータは必要ないし、光沢のあるオブジェクトや明るい照明も扱える。
  論文  参考訳（メタデータ） (2023-05-29T07:44:19Z)
• TensoIR: Tensorial Inverse Rendering [51.57268311847087]
  テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。 TensoRFは、放射場モデリングのための最先端のアプローチである。
  論文  参考訳（メタデータ） (2023-04-24T21:39:13Z)
• Multi-view Gradient Consistency for SVBRDF Estimation of Complex Scenes under Natural Illumination [6.282068591820945]
  本稿では,自然照明下で観察された複雑なシーンの表面反射率を空間的に変化させる手法を提案する。 エンドツーエンドのプロセスでは、シーンの幾何学のモデルと、シーンの表面をキャプチャするいくつかの画像を使用する。 実験により, 複雑な形状を持つ任意の屋外シーンに対して, 現実的な結果が得られた。
  論文  参考訳（メタデータ） (2022-02-25T23:49:39Z)
• Shape and Reflectance Reconstruction in Uncontrolled Environments by Differentiable Rendering [27.41344744849205]
  従来のハンドヘルドカメラを用いた多視点写真からシーンの3次元形状と反射率を再構築する効率的な手法を提案する。 また,本手法は,新しい視点の視覚的合成と定量化において,最先端の代替手法と比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-25T14:09:10Z)
• SIDER: Single-Image Neural Optimization for Facial Geometric Detail Recovery [54.64663713249079]
  SIDERは、教師なしの方法で単一の画像から詳細な顔形状を復元する新しい光度最適化手法である。 以前の作業とは対照的に、SIDERはデータセットの事前に依存せず、複数のビュー、照明変更、地上の真実の3D形状から追加の監視を必要としない。
  論文  参考訳（メタデータ） (2021-08-11T22:34:53Z)
• Towards High Fidelity Monocular Face Reconstruction with Rich Reflectance using Self-supervised Learning and Ray Tracing [49.759478460828504]
  ディープニューラルネットワークエンコーダと異なるレンダリングを組み合わせた手法が、幾何学、照明、反射の非常に高速な単分子再構成の道を開いた。 古典的な最適化ベースのフレームワーク内での単眼顔再構築のためにレイトレースが導入されました。 一般シーンにおける復元品質と堅牢性を大幅に向上させる新しい手法を提案します。
  論文  参考訳（メタデータ） (2021-03-29T08:58:10Z)
• Unsupervised Learning Facial Parameter Regressor for Action Unit Intensity Estimation via Differentiable Renderer [51.926868759681014]
  骨駆動型顔モデル(BDFM)に基づいて,異なる視点で顔パラメータを予測する枠組みを提案する。 提案するフレームワークは,特徴抽出器,ジェネレータ,顔パラメータ回帰器から構成される。
  論文  参考訳（メタデータ） (2020-08-20T09:49:13Z)
• Learning Flow-based Feature Warping for Face Frontalization with Illumination Inconsistent Supervision [73.18554605744842]
  Flow-based Feature Warping Model (FFWM) は、正面画像を保存するフォトリアリスティックおよび照明の合成を学ぶ。 Illumination Preserving Module (IPM) を提案する。 Warp Attention Module (WAM) は、機能レベルでのポーズの相違を低減するために導入された。
  論文  参考訳（メタデータ） (2020-08-16T06:07:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。