論文の概要: FaceLit: Neural 3D Relightable Faces

• arxiv url: http://arxiv.org/abs/2303.15437v1
• Date: Mon, 27 Mar 2023 17:59:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 13:58:48.875297
• Title: FaceLit: Neural 3D Relightable Faces
• Title（参考訳）: facelit:ニューラル3dリフレッシュ可能な顔
• Authors: Anurag Ranjan, Kwang Moo Yi, Jen-Hao Rick Chang, Oncel Tuzel
• Abstract要約: FaceLitは、ユーザーが定義した様々な照明条件やビューでレンダリングできる3D顔を生成することができる。 FFHQデータセット上での3次元認識GANのFIDスコア3.5。
• 参考スコア（独自算出の注目度）: 28.0806453092185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a generative framework, FaceLit, capable of generating a 3D face that can be rendered at various user-defined lighting conditions and views, learned purely from 2D images in-the-wild without any manual annotation. Unlike existing works that require careful capture setup or human labor, we rely on off-the-shelf pose and illumination estimators. With these estimates, we incorporate the Phong reflectance model in the neural volume rendering framework. Our model learns to generate shape and material properties of a face such that, when rendered according to the natural statistics of pose and illumination, produces photorealistic face images with multiview 3D and illumination consistency. Our method enables photorealistic generation of faces with explicit illumination and view controls on multiple datasets - FFHQ, MetFaces and CelebA-HQ. We show state-of-the-art photorealism among 3D aware GANs on FFHQ dataset achieving an FID score of 3.5.
• Abstract（参考訳）: 本稿では,様々なユーザ定義の照明条件とビューでレンダリング可能な3d顔を生成することのできる生成フレームワークfacelitを提案する。 注意深い撮影や人的労働を必要とする既存の作業とは異なり、私たちは既成のポーズと照明推定器に依存しています。 これらの推定により、ニューラルネットワークのボリュームレンダリングフレームワークにPhongリフレクタンスモデルを組み込む。 提案モデルは,ポーズや照明の自然な統計に基づいて描画された顔の形状や材料特性を学習し,マルチビュー3Dと照明の整合性を備えたフォトリアリスティックな顔画像を生成する。 提案手法は,複数のデータセット(FFHQ, MetFaces, CelebA-HQ)上で,明快な照明とビューコントロールを備えた顔の写実的生成を可能にする。 ffhqデータセット上での3d認識gan間の最先端フォトリアリズムにより,fidスコアは3.5。

関連論文リスト

• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• LumiGAN: Unconditional Generation of Relightable 3D Human Faces [50.32937196797716]
  照明モジュールを用いた3次元顔用無条件生成適応ネットワーク(GAN)LumiGANを紹介する。 LumiGANは、自己監督的な方法で学習された効率的な可視性定式化を用いて、現実的な影効果を生み出すことができる。 照らしやすさに加えて, 最先端の非照らし可能な3D GANと比較して, 幾何生成が著しく向上したことを示す。
  論文  参考訳（メタデータ） (2023-04-25T21:03:20Z)
• 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
  本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。 このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
  論文  参考訳（メタデータ） (2022-09-15T15:28:45Z)
• Explicitly Controllable 3D-Aware Portrait Generation [42.30481422714532]
  ポーズ,アイデンティティ,表現,照明に関する意味的パラメータに基づいて,一貫した肖像画を生成する3次元肖像画生成ネットワークを提案する。 提案手法は,自然光の鮮明な表現によるリアルな肖像画を,自由視点で見る場合,先行技術よりも優れる。
  論文  参考訳（メタデータ） (2022-09-12T17:40:08Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
  本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。 提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。 ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
  論文  参考訳（メタデータ） (2021-11-01T15:53:36Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Normalized Avatar Synthesis Using StyleGAN and Perceptual Refinement [11.422683083130577]
  我々は,1枚の制約のない写真から人物の正規化された3Dアバターをデジタル化する,非常に堅牢なGANベースのフレームワークを提案する。 入力画像は笑顔でもよいし、極端な照明条件で撮影することもできるが、この方法は人の顔の質の高いテクスチャモデルを確実に作成することができる。
  論文  参考訳（メタデータ） (2021-06-21T21:57:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。