論文の概要: LumiGAN: Unconditional Generation of Relightable 3D Human Faces

• arxiv url: http://arxiv.org/abs/2304.13153v1
• Date: Tue, 25 Apr 2023 21:03:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-27 16:24:34.189970
• Title: LumiGAN: Unconditional Generation of Relightable 3D Human Faces
• Title（参考訳）: LumiGAN:3D顔の無条件生成
• Authors: Boyang Deng, Yifan Wang, Gordon Wetzstein
• Abstract要約: 照明モジュールを用いた3次元顔用無条件生成適応ネットワーク(GAN)LumiGANを紹介する。 LumiGANは、自己監督的な方法で学習された効率的な可視性定式化を用いて、現実的な影効果を生み出すことができる。 照らしやすさに加えて, 最先端の非照らし可能な3D GANと比較して, 幾何生成が著しく向上したことを示す。
• 参考スコア（独自算出の注目度）: 50.32937196797716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised learning of 3D human faces from unstructured 2D image data is an active research area. While recent works have achieved an impressive level of photorealism, they commonly lack control of lighting, which prevents the generated assets from being deployed in novel environments. To this end, we introduce LumiGAN, an unconditional Generative Adversarial Network (GAN) for 3D human faces with a physically based lighting module that enables relighting under novel illumination at inference time. Unlike prior work, LumiGAN can create realistic shadow effects using an efficient visibility formulation that is learned in a self-supervised manner. LumiGAN generates plausible physical properties for relightable faces, including surface normals, diffuse albedo, and specular tint without any ground truth data. In addition to relightability, we demonstrate significantly improved geometry generation compared to state-of-the-art non-relightable 3D GANs and notably better photorealism than existing relightable GANs.
• Abstract（参考訳）: 非構造化2次元画像データによる3次元顔の教師なし学習は活発な研究領域である。 近年の作品は印象的なフォトリアリズムを達成しているが、通常は照明の制御が欠如しており、生成された資産が新しい環境に配備されることを防いでいる。 そこで本稿では,3次元顔用無条件生成逆ネットワーク(gan)lumiganと,推定時に新たな照明下での照明を可能にする物理ベースの照明モジュールを提案する。 以前の研究とは異なり、LumiGANは自己監督的な方法で学習された効率的な可視性定式化を用いて、現実的な影効果を生み出すことができる。 LumiGANは、表面の正常、拡散アルベド、地上の真実データのない特異なスズなど、可照性のある顔の物理的特性を生成する。 再現性に加えて, 最新技術である3D GANと比較して幾何生成が著しく向上し, 既存の3D GANよりもフォトリアリズムが優れていた。

関連論文リスト

• UltrAvatar: A Realistic Animatable 3D Avatar Diffusion Model with Authenticity Guided Textures [80.047065473698]
  幾何学の忠実度を高めたUltrAvatarと呼ばれる新しい3次元アバター生成手法を提案し,光を必要とせずに物理ベースレンダリング(PBR)テクスチャの質を向上する。 提案手法の有効性とロバスト性を実証し,実験において最先端の手法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2024-01-20T01:55:17Z)
• FaceLit: Neural 3D Relightable Faces [28.0806453092185]
  FaceLitは、ユーザーが定義した様々な照明条件やビューでレンダリングできる3D顔を生成することができる。 FFHQデータセット上での3次元認識GANのFIDスコア3.5。
  論文  参考訳（メタデータ） (2023-03-27T17:59:10Z)
• Generative Neural Articulated Radiance Fields [104.9224190002448]
  我々は,人間の身体の放射界を標準的なポーズで生成し,明示的な変形場を用いて所望の身体のポーズや表情にワープする3D GANフレームワークを開発した。 変形認識訓練はポーズや表情を編集する際の身体や顔の質を著しく向上させる。
  論文  参考訳（メタデータ） (2022-06-28T22:49:42Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
  本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。 提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。 ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
  論文  参考訳（メタデータ） (2021-11-01T15:53:36Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。