論文の概要: Learning to Decouple the Lights for 3D Face Texture Modeling

• arxiv url: http://arxiv.org/abs/2412.08524v1
• Date: Wed, 11 Dec 2024 16:36:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:02:09.916716
• Title: Learning to Decouple the Lights for 3D Face Texture Modeling
• Title（参考訳）: 3次元顔テクスチャモデリングのための光分離学習
• Authors: Tianxin Huang, Zhenyu Zhang, Ying Tai, Gim Hee Lee,
• Abstract要約: このような不自然な照明下での3次元顔のテクスチャをモデル化するための新しいアプローチを提案する。 この枠組みは、複数の異なる光条件の合成として、不自然な照明を模倣することを学ぶ。 単一画像とビデオシーケンスの両方の実験により,本手法の有効性を実証した。
• 参考スコア（独自算出の注目度）: 71.67854540658472
• License:
• Abstract: Existing research has made impressive strides in reconstructing human facial shapes and textures from images with well-illuminated faces and minimal external occlusions. Nevertheless, it remains challenging to recover accurate facial textures from scenarios with complicated illumination affected by external occlusions, e.g. a face that is partially obscured by items such as a hat. Existing works based on the assumption of single and uniform illumination cannot correctly process these data. In this work, we introduce a novel approach to model 3D facial textures under such unnatural illumination. Instead of assuming single illumination, our framework learns to imitate the unnatural illumination as a composition of multiple separate light conditions combined with learned neural representations, named Light Decoupling. According to experiments on both single images and video sequences, we demonstrate the effectiveness of our approach in modeling facial textures under challenging illumination affected by occlusions. Please check https://tianxinhuang.github.io/projects/Deface for our videos and codes.
• Abstract（参考訳）: 既存の研究では、人間の顔の形やテクスチャを、よく照らされた顔と最小限の外陰部の画像から再構築することに成功した。 それでも、例えば帽子などのアイテムによって部分的に隠蔽されている顔など、外部閉塞による複雑な照明のシナリオから、正確な顔のテクスチャを復元することは依然として困難である。 単一照明と均一照明の仮定に基づく既存の作業は、これらのデータを正しく処理することはできない。 本研究では,このような不自然な照明下での3次元顔のテクスチャをモデル化するための新しいアプローチを提案する。 一つの照明を仮定する代わりに、我々のフレームワークは、光デカップリング(Light Decoupling)と呼ばれる学習された神経表現と、複数の異なる光条件の合成として、不自然な照明を模倣することを学ぶ。 単一画像とビデオシーケンスの両方の実験により, 咬合の影響を受け難い照明下での顔のテクスチャモデリングにおけるアプローチの有効性を実証した。 ビデオやコードについては、https://tianxinhuang.github.io/projects/Defaceをご覧ください。

関連論文リスト

• IllumiNeRF: 3D Relighting Without Inverse Rendering [25.642960820693947]
  対象の環境光と推定対象形状を条件とした画像拡散モデルを用いて,各入力画像をリライトする方法を示す。 ニューラル・レージアンス・フィールド (NeRF) をこれらの信頼された画像で再構成し, 対象光の下で新しいビューを描画する。 この戦略は驚くほど競争力があり、複数のリライトベンチマークで最先端の結果が得られることを実証する。
  論文  参考訳（メタデータ） (2024-06-10T17:59:59Z)
• LumiGAN: Unconditional Generation of Relightable 3D Human Faces [50.32937196797716]
  照明モジュールを用いた3次元顔用無条件生成適応ネットワーク(GAN)LumiGANを紹介する。 LumiGANは、自己監督的な方法で学習された効率的な可視性定式化を用いて、現実的な影効果を生み出すことができる。 照らしやすさに加えて, 最先端の非照らし可能な3D GANと比較して, 幾何生成が著しく向上したことを示す。
  論文  参考訳（メタデータ） (2023-04-25T21:03:20Z)
• FaceLit: Neural 3D Relightable Faces [28.0806453092185]
  FaceLitは、ユーザーが定義した様々な照明条件やビューでレンダリングできる3D顔を生成することができる。 FFHQデータセット上での3次元認識GANのFIDスコア3.5。
  論文  参考訳（メタデータ） (2023-03-27T17:59:10Z)
• Geometry-aware Single-image Full-body Human Relighting [37.381122678376805]
  単一イメージの人間のリライティングは、入力画像をアルベド、形状、照明に分解することで、新たな照明条件下でターゲットの人間をリライティングすることを目的としている。 それまでの方法は、アルベドと照明の絡み合いと、硬い影の欠如に悩まされていた。 我々のフレームワークは、難易度の高い照明条件下で、キャストシャドウのような光現実性の高い高周波影を生成することができる。
  論文  参考訳（メタデータ） (2022-07-11T10:21:02Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• Self-supervised High-fidelity and Re-renderable 3D Facial Reconstruction from a Single Image [19.0074836183624]
  そこで本研究では,高品質な3次元顔の再構築を目的とした,新たな自己教師型学習フレームワークを提案する。 我々のフレームワークは質的比較と量的比較の両方において最先端のアプローチを大幅に上回っている。
  論文  参考訳（メタデータ） (2021-11-16T08:10:24Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Face Forgery Detection by 3D Decomposition [72.22610063489248]
  顔画像は、基礎となる3次元幾何学と照明環境の介入の産物とみなす。 顔画像を3次元形状、共通テクスチャ、アイデンティティテクスチャ、周囲光、そして直接光に切り離すことで、悪魔は直接光とアイデンティティテクスチャの中に横たわる。 直接光と識別テクスチャを組み合わせた顔のディテールを,微妙な偽造パターンを検出する手がかりとして活用することを提案する。
  論文  参考訳（メタデータ） (2020-11-19T09:25:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。