論文の概要: FaceLit: Neural 3D Relightable Faces

• arxiv url: http://arxiv.org/abs/2303.15437v1
• Date: Mon, 27 Mar 2023 17:59:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 13:58:48.875297
• Title: FaceLit: Neural 3D Relightable Faces
• Title（参考訳）: facelit:ニューラル3dリフレッシュ可能な顔
• Authors: Anurag Ranjan, Kwang Moo Yi, Jen-Hao Rick Chang, Oncel Tuzel
• Abstract要約: FaceLitは、ユーザーが定義した様々な照明条件やビューでレンダリングできる3D顔を生成することができる。 FFHQデータセット上での3次元認識GANのFIDスコア3.5。
• 参考スコア（独自算出の注目度）: 28.0806453092185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a generative framework, FaceLit, capable of generating a 3D face that can be rendered at various user-defined lighting conditions and views, learned purely from 2D images in-the-wild without any manual annotation. Unlike existing works that require careful capture setup or human labor, we rely on off-the-shelf pose and illumination estimators. With these estimates, we incorporate the Phong reflectance model in the neural volume rendering framework. Our model learns to generate shape and material properties of a face such that, when rendered according to the natural statistics of pose and illumination, produces photorealistic face images with multiview 3D and illumination consistency. Our method enables photorealistic generation of faces with explicit illumination and view controls on multiple datasets - FFHQ, MetFaces and CelebA-HQ. We show state-of-the-art photorealism among 3D aware GANs on FFHQ dataset achieving an FID score of 3.5.
• Abstract（参考訳）: 本稿では,様々なユーザ定義の照明条件とビューでレンダリング可能な3d顔を生成することのできる生成フレームワークfacelitを提案する。 注意深い撮影や人的労働を必要とする既存の作業とは異なり、私たちは既成のポーズと照明推定器に依存しています。 これらの推定により、ニューラルネットワークのボリュームレンダリングフレームワークにPhongリフレクタンスモデルを組み込む。 提案モデルは,ポーズや照明の自然な統計に基づいて描画された顔の形状や材料特性を学習し,マルチビュー3Dと照明の整合性を備えたフォトリアリスティックな顔画像を生成する。 提案手法は,複数のデータセット(FFHQ, MetFaces, CelebA-HQ)上で,明快な照明とビューコントロールを備えた顔の写実的生成を可能にする。 ffhqデータセット上での3d認識gan間の最先端フォトリアリズムにより,fidスコアは3.5。

関連論文リスト

• Learning to Decouple the Lights for 3D Face Texture Modeling [71.67854540658472]
  このような不自然な照明下での3次元顔のテクスチャをモデル化するための新しいアプローチを提案する。 この枠組みは、複数の異なる光条件の合成として、不自然な照明を模倣することを学ぶ。 単一画像とビデオシーケンスの両方の実験により,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-12-11T16:36:45Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• LumiGAN: Unconditional Generation of Relightable 3D Human Faces [50.32937196797716]
  照明モジュールを用いた3次元顔用無条件生成適応ネットワーク(GAN)LumiGANを紹介する。 LumiGANは、自己監督的な方法で学習された効率的な可視性定式化を用いて、現実的な影効果を生み出すことができる。 照らしやすさに加えて, 最先端の非照らし可能な3D GANと比較して, 幾何生成が著しく向上したことを示す。
  論文  参考訳（メタデータ） (2023-04-25T21:03:20Z)
• 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
  本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。 このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
  論文  参考訳（メタデータ） (2022-09-15T15:28:45Z)
• Explicitly Controllable 3D-Aware Portrait Generation [42.30481422714532]
  ポーズ,アイデンティティ,表現,照明に関する意味的パラメータに基づいて,一貫した肖像画を生成する3次元肖像画生成ネットワークを提案する。 提案手法は,自然光の鮮明な表現によるリアルな肖像画を,自由視点で見る場合,先行技術よりも優れる。
  論文  参考訳（メタデータ） (2022-09-12T17:40:08Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Normalized Avatar Synthesis Using StyleGAN and Perceptual Refinement [11.422683083130577]
  我々は,1枚の制約のない写真から人物の正規化された3Dアバターをデジタル化する,非常に堅牢なGANベースのフレームワークを提案する。 入力画像は笑顔でもよいし、極端な照明条件で撮影することもできるが、この方法は人の顔の質の高いテクスチャモデルを確実に作成することができる。
  論文  参考訳（メタデータ） (2021-06-21T21:57:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。