論文の概要: Learning a 3D Morphable Face Reflectance Model from Low-cost Data

• arxiv url: http://arxiv.org/abs/2303.11686v1
• Date: Tue, 21 Mar 2023 09:08:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-22 15:53:17.992013
• Title: Learning a 3D Morphable Face Reflectance Model from Low-cost Data
• Title（参考訳）: 低コストデータから3次元顔反射率モデルを学ぶ
• Authors: Yuxuan Han, Zhibo Wang, Feng Xu
• Abstract要約: 既存の作業では、Light Stageデータを使用して拡散とスペクトルアルベドのためのパラメトリックモデルを構築している。 本稿では,低コストで利用可能なデータのみを用いた空間変化BRDFを用いた最初の3次元顔反射モデルを提案する。
• 参考スコア（独自算出の注目度）: 21.37535100469443
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modeling non-Lambertian effects such as facial specularity leads to a more realistic 3D Morphable Face Model. Existing works build parametric models for diffuse and specular albedo using Light Stage data. However, only diffuse and specular albedo cannot determine the full BRDF. In addition, the requirement of Light Stage data is hard to fulfill for the research communities. This paper proposes the first 3D morphable face reflectance model with spatially varying BRDF using only low-cost publicly-available data. We apply linear shiness weighting into parametric modeling to represent spatially varying specular intensity and shiness. Then an inverse rendering algorithm is developed to reconstruct the reflectance parameters from non-Light Stage data, which are used to train an initial morphable reflectance model. To enhance the model's generalization capability and expressive power, we further propose an update-by-reconstruction strategy to finetune it on an in-the-wild dataset. Experimental results show that our method obtains decent rendering results with plausible facial specularities. Our code is released \href{https://yxuhan.github.io/ReflectanceMM/index.html}{\textcolor{magenta}{here}}.
• Abstract（参考訳）: 顔の特異性などの非ランバート的効果のモデル化は、より現実的な3d morphable faceモデルにつながる。 既存の作業では、Light Stageデータを使用して拡散とスペクトルアルベドのためのパラメトリックモデルを構築している。 しかし、拡散とスペクトルアルベドだけがBRDFを完全に決定できない。 また,研究コミュニティにとって,ライトステージデータの要求を満たすことは困難である。 本稿では,低コストで利用可能なデータのみを用いた空間変化BRDFを用いた3次元顔反射モデルを提案する。 パラメトリックモデリングに線形シネス重み付けを適用し,空間的に変化するスペクトル強度とシネスを表現する。 次に、初期変形可能な反射率モデルのトレーニングに用いる非光ステージデータから反射率パラメータを再構成する逆レンダリングアルゴリズムを開発する。 モデルの一般化能力と表現力を高めるため,我々はさらに,インザ・ワイルド・データセット上でそれを細分化する更新・バイ・リコンストラクション・ストラテジーを提案する。 実験結果から,本手法は顔の可視性に優れたレンダリング結果が得られることがわかった。 私たちのコードは \href{https://yxuhan.github.io/reflectancemm/index.html}{\textcolor{magenta}{here}} でリリースされています。

関連論文リスト

• MoSAR: Monocular Semi-Supervised Model for Avatar Reconstruction using Differentiable Shading [3.2586340344073927]
  MoSARはモノクロ画像から3次元アバターを生成する方法である。 そこで本研究では,光ステージと地中データセットの両方から学習することで,一般化を向上する半教師付きトレーニング手法を提案する。 FFHQ-UV-Intrinsicsと名付けられた新しいデータセットも導入しました。
  論文  参考訳（メタデータ） (2023-12-20T15:12:53Z)
• RichDreamer: A Generalizable Normal-Depth Diffusion Model for Detail Richness in Text-to-3D [31.77212284992657]
  我々は3次元生成のための一般化可能な正規-深度拡散モデルを学ぶ。 アルベド拡散モデルを導入し、アルベド成分にデータ駆動的制約を課す。 実験の結果,既存のテキスト・ツー・3Dパイプラインに組み込むと,モデルのリッチさが著しく向上することがわかった。
  論文  参考訳（メタデータ） (2023-11-28T16:22:33Z)
• Relightify: Relightable 3D Faces from a Single Image via Diffusion Models [86.3927548091627]
  単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。 既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
  論文  参考訳（メタデータ） (2023-05-10T11:57:49Z)
• DiFaReli: Diffusion Face Relighting [13.000032155650835]
  野生でのワンビューリライティングに新しいアプローチを提案する。 グローバル照明やキャストシャドーなどの非拡散効果を扱うことは、長い間、顔のリライティングの課題だった。 標準ベンチマークであるMulti-PIE上での最先端性能を実現し,画像の写実的リライトを実現する。
  論文  参考訳（メタデータ） (2023-04-19T08:03:20Z)
• MoDA: Modeling Deformable 3D Objects from Casual Videos [84.29654142118018]
  神経二元四元系ブレンドスキンニング(NeuDBS)を提案し,スキンを折り畳むことなく3次元点変形を実現する。 異なるフレーム間で2Dピクセルを登録する試みにおいて、標準空間内の3D点を符号化する標準特徴埋め込みの対応性を確立する。 本手法は,ヒトと動物の3Dモデルを,最先端の手法よりも質的,定量的な性能で再構築することができる。
  論文  参考訳（メタデータ） (2023-04-17T13:49:04Z)
• Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion [54.151979979158085]
  提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。 そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。 当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
  論文  参考訳（メタデータ） (2022-11-21T17:42:42Z)
• {\phi}-SfT: Shape-from-Template with a Physics-Based Deformation Model [69.27632025495512]
  Shape-from-Template (SfT) 法では、単一の単眼RGBカメラから3次元表面の変形を推定する。 本稿では,物理シミュレーションによる2次元観察を解説する新しいSfT手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T17:59:57Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)
• NeRFactor: Neural Factorization of Shape and Reflectance Under an Unknown Illumination [60.89737319987051]
  照明条件が不明な物体の多視点像から物体の形状と空間的反射率を復元する問題に対処する。 これにより、任意の環境照明下でのオブジェクトの新たなビューのレンダリングや、オブジェクトの材料特性の編集が可能になる。
  論文  参考訳（メタデータ） (2021-06-03T16:18:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。