論文の概要: Towards High Fidelity Monocular Face Reconstruction with Rich Reflectance using Self-supervised Learning and Ray Tracing

• arxiv url: http://arxiv.org/abs/2103.15432v1
• Date: Mon, 29 Mar 2021 08:58:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 15:21:10.588776
• Title: Towards High Fidelity Monocular Face Reconstruction with Rich Reflectance using Self-supervised Learning and Ray Tracing
• Title（参考訳）: 自己教師付き学習とレイトレーシングを用いた高反射率単眼顔面再建に向けて
• Authors: Abdallah Dib, Cedric Thebault, Junghyun Ahn, Philippe-Henri Gosselin, Christian Theobalt, Louis Chevallier
• Abstract要約: ディープニューラルネットワークエンコーダと異なるレンダリングを組み合わせた手法が、幾何学、照明、反射の非常に高速な単分子再構成の道を開いた。 古典的な最適化ベースのフレームワーク内での単眼顔再構築のためにレイトレースが導入されました。 一般シーンにおける復元品質と堅牢性を大幅に向上させる新しい手法を提案します。
• 参考スコア（独自算出の注目度）: 49.759478460828504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robust face reconstruction from monocular image in general lighting conditions is challenging. Methods combining deep neural network encoders with differentiable rendering have opened up the path for very fast monocular reconstruction of geometry, lighting and reflectance. They can also be trained in self-supervised manner for increased robustness and better generalization. However, their differentiable rasterization based image formation models, as well as underlying scene parameterization, limit them to Lambertian face reflectance and to poor shape details. More recently, ray tracing was introduced for monocular face reconstruction within a classic optimization-based framework and enables state-of-the art results. However optimization-based approaches are inherently slow and lack robustness. In this paper, we build our work on the aforementioned approaches and propose a new method that greatly improves reconstruction quality and robustness in general scenes. We achieve this by combining a CNN encoder with a differentiable ray tracer, which enables us to base the reconstruction on much more advanced personalized diffuse and specular albedos, a more sophisticated illumination model and a plausible representation of self-shadows. This enables to take a big leap forward in reconstruction quality of shape, appearance and lighting even in scenes with difficult illumination. With consistent face attributes reconstruction, our method leads to practical applications such as relighting and self-shadows removal. Compared to state-of-the-art methods, our results show improved accuracy and validity of the approach.
• Abstract（参考訳）: 一般照明条件下での単眼像からのロバストな顔再構成は困難である。 ディープニューラルネットワークエンコーダと異なるレンダリングを組み合わせた手法が、幾何学、照明、反射の非常に高速な単分子再構成の道を開いた。 また、堅牢性を高め、より一般化するために、自己指導的な方法で訓練することもできる。 しかし、ラスタ化に基づく画像形成モデルは、背景となるシーンパラメータ化と同様に、ランベルト面の反射率や形状の細部に制限される。 より最近では、古典的な最適化ベースのフレームワークで単眼的な顔再建のためにレイトレーシングが導入され、最先端の成果が得られた。 しかし、最適化ベースのアプローチは本質的に遅く、堅牢性に欠ける。 本稿では,上記の手法を応用し,一般場面における復元品質とロバスト性を大幅に向上させる新しい手法を提案する。 我々は、CNNエンコーダと微分可能光トレーサを組み合わせることで、より高度なパーソナライズされた拡散とスペクトルアルベド、より洗練された照明モデル、そして自己陰影の表現をベースとした再構築を実現する。 これにより、照明が難しいシーンでも形状、外観、照明の復元品質が飛躍的に向上する。 顔属性を一貫した再構成を行うことで、リライティングや自己陰影除去などの実践的な応用につながる。 最新の手法と比較すると,提案手法の精度と妥当性が向上した。

関連論文リスト

• RelitLRM: Generative Relightable Radiance for Large Reconstruction Models [52.672706620003765]
  本稿では,新しい照明下での3Dオブジェクトの高品質なガウススプレイティング表現を生成するためのRelitLRMを提案する。 複雑なキャプチャと遅い最適化を必要とする従来の逆レンダリングとは異なり、RelitLRMはフィードフォワードトランスフォーマーベースのモデルを採用している。 スパースビューフィードフォワードRelitLRMは、最先端の密集ビュー最適化ベースラインに対して、競争力のあるリライティング結果を提供する。
  論文  参考訳（メタデータ） (2024-10-08T17:40:01Z)
• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• GaNI: Global and Near Field Illumination Aware Neural Inverse Rendering [21.584362527926654]
  GaNIは、同じ位置にある光とカメラで撮影されたシーンの画像から、幾何学、アルベド、粗さのパラメータを再構築することができる。 既存の逆レンダリング技術と光カメラは、単一の物体のみに焦点を合わせている。
  論文  参考訳（メタデータ） (2024-03-22T23:47:19Z)
• TensoIR: Tensorial Inverse Rendering [51.57268311847087]
  テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。 TensoRFは、放射場モデリングのための最先端のアプローチである。
  論文  参考訳（メタデータ） (2023-04-24T21:39:13Z)
• Geometry-aware Single-image Full-body Human Relighting [37.381122678376805]
  単一イメージの人間のリライティングは、入力画像をアルベド、形状、照明に分解することで、新たな照明条件下でターゲットの人間をリライティングすることを目的としている。 それまでの方法は、アルベドと照明の絡み合いと、硬い影の欠如に悩まされていた。 我々のフレームワークは、難易度の高い照明条件下で、キャストシャドウのような光現実性の高い高周波影を生成することができる。
  論文  参考訳（メタデータ） (2022-07-11T10:21:02Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• S2F2: Self-Supervised High Fidelity Face Reconstruction from Monocular Image [2.469794902645761]
  単一画像から空間的に変化する顔の反射率の詳細な顔形状を再構成する新しい顔再構成法を提案する。 最先端の手法と比較して,本手法はより視覚的に魅力的な再構築を実現する。
  論文  参考訳（メタデータ） (2022-03-15T08:55:45Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• Practical Face Reconstruction via Differentiable Ray Tracing [3.481486869779035]
  我々は,光線トレーシングに基づく新しい顔再構成手法を提案する。 シーン属性 - 3Dジオメトリ、反射率(拡散、スペクトルおよび粗さ)、ポーズ、カメラパラメータ、シーン照明 - は、制約のない単眼画像から推定されます。 極端な照明条件下でも顔の属性を推定できる現実世界のシナリオにおいて,我々のアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2021-01-13T21:36:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。