論文の概要: 3D GAN Inversion with Facial Symmetry Prior

• arxiv url: http://arxiv.org/abs/2211.16927v1
• Date: Wed, 30 Nov 2022 11:57:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 17:16:09.856293
• Title: 3D GAN Inversion with Facial Symmetry Prior
• Title（参考訳）: 顔面対称性を先行した3次元GANインバージョン
• Authors: Fei Yin, Yong Zhang, Xuan Wang, Tengfei Wang, Xiaoyu Li, Yuan Gong, Yanbo Fan, Xiaodong Cun, Ying Shan, Cengiz Oztireli, Yujiu Yang
• Abstract要約: 3D GANとGANの反転法を関連付けて、実際の画像をジェネレータの潜伏空間に投影することは自然である。 顔の対称性を事前に導入することで3D GANのインバージョンを促進する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 42.22071135018402
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, a surge of high-quality 3D-aware GANs have been proposed, which leverage the generative power of neural rendering. It is natural to associate 3D GANs with GAN inversion methods to project a real image into the generator's latent space, allowing free-view consistent synthesis and editing, referred as 3D GAN inversion. Although with the facial prior preserved in pre-trained 3D GANs, reconstructing a 3D portrait with only one monocular image is still an ill-pose problem. The straightforward application of 2D GAN inversion methods focuses on texture similarity only while ignoring the correctness of 3D geometry shapes. It may raise geometry collapse effects, especially when reconstructing a side face under an extreme pose. Besides, the synthetic results in novel views are prone to be blurry. In this work, we propose a novel method to promote 3D GAN inversion by introducing facial symmetry prior. We design a pipeline and constraints to make full use of the pseudo auxiliary view obtained via image flipping, which helps obtain a robust and reasonable geometry shape during the inversion process. To enhance texture fidelity in unobserved viewpoints, pseudo labels from depth-guided 3D warping can provide extra supervision. We design constraints aimed at filtering out conflict areas for optimization in asymmetric situations. Comprehensive quantitative and qualitative evaluations on image reconstruction and editing demonstrate the superiority of our method.
• Abstract（参考訳）: 近年,ニューラルレンダリングの再生能力を活用した高品質な3D認識型GANが提案されている。 3D GANをGANインバージョン法と結びつけて、実際の画像をジェネレータの潜在空間に投影し、自由視点で一貫した合成と編集を可能にするのが自然である。 顔は事前に訓練済みの3D GANで保存されているが、1枚の単眼画像のみで3D像を再構成することは、いまだ不適切な問題である。 2D GANインバージョン法の簡単な応用は、3次元形状の正しさを無視しながらテクスチャ類似性のみに焦点を当てる。 特に極端な姿勢で側面を再構築する際には、幾何学的崩壊効果を引き起こす可能性がある。 また、新奇な見方の合成結果は曖昧になりがちである。 本研究では,3D GANのインバージョンを促進するために,前もって顔の対称性を導入する手法を提案する。 画像フリップによって得られる擬似補助ビューを十分に活用するためにパイプラインと制約を設計し,反転過程におけるロバストで合理的な形状の獲得を支援する。 未観測視点におけるテクスチャの忠実性を高めるため、奥行き誘導3Dワープからの擬似ラベルは、余分な監督を提供することができる。 非対称な状況下での最適化のための競合領域のフィルタリングを目的とした制約を設計する。 画像再構成と編集に関する包括的定量的・質的評価は,本手法が優れていることを示す。

関連論文リスト

• Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
  StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。 対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。 本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T18:49:50Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• CGOF++: Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields [52.14985242487535]
  生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。 中心となるのは条件付き生成操作場(cGOF++)であり、それによって生成された顔の形状が与えられた3Dモルファブルモデル(3DMM)メッシュに適合するように効果的に強制される。 提案手法の有効性を検証し, 最先端の2次元顔合成法よりも高精度な3次元制御性を示す実験を行った。
  論文  参考訳（メタデータ） (2022-11-23T19:02:50Z)
• 3D GAN Inversion with Pose Optimization [26.140281977885376]
  本稿では,カメラ視点と潜時符号を同時に推論し,マルチビューで一貫したセマンティック画像編集を可能にする一般化可能な3D GANインバージョン手法を提案する。 画像の再構成と編集を定量的かつ質的に行い、さらに2D GANベースの編集と比較した。
  論文  参考訳（メタデータ） (2022-10-13T19:06:58Z)
• GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
  GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。 3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。 実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2022-06-18T16:58:49Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• Adaptive 3D Face Reconstruction from a Single Image [45.736818498242016]
  1枚の画像から3次元の顔形状を適応的に再構成する新しい関節2Dと3Dの最適化法を提案する。 複数のデータセットに対する実験結果から,本手法は1枚のカラー画像から高品質な再構成を実現できることが示された。
  論文  参考訳（メタデータ） (2020-07-08T09:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。