論文の概要: Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion

• arxiv url: http://arxiv.org/abs/2212.07409v1
• Date: Wed, 14 Dec 2022 18:49:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 14:34:54.564895
• Title: Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion
• Title（参考訳）: スタイルベース3次元GANインバージョンのための自己監督幾何認識エンコーダ
• Authors: Yushi Lan, Xuyi Meng, Shuai Yang, Chen Change Loy, Bo Dai
• Abstract要約: StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。 対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。 本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
• 参考スコア（独自算出の注目度）: 115.82306502822412
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: StyleGAN has achieved great progress in 2D face reconstruction and semantic editing via image inversion and latent editing. While studies over extending 2D StyleGAN to 3D faces have emerged, a corresponding generic 3D GAN inversion framework is still missing, limiting the applications of 3D face reconstruction and semantic editing. In this paper, we study the challenging problem of 3D GAN inversion where a latent code is predicted given a single face image to faithfully recover its 3D shapes and detailed textures. The problem is ill-posed: innumerable compositions of shape and texture could be rendered to the current image. Furthermore, with the limited capacity of a global latent code, 2D inversion methods cannot preserve faithful shape and texture at the same time when applied to 3D models. To solve this problem, we devise an effective self-training scheme to constrain the learning of inversion. The learning is done efficiently without any real-world 2D-3D training pairs but proxy samples generated from a 3D GAN. In addition, apart from a global latent code that captures the coarse shape and texture information, we augment the generation network with a local branch, where pixel-aligned features are added to faithfully reconstruct face details. We further consider a new pipeline to perform 3D view-consistent editing. Extensive experiments show that our method outperforms state-of-the-art inversion methods in both shape and texture reconstruction quality. Code and data will be released.
• Abstract（参考訳）: styleganは、画像反転と潜在編集による2d顔再構成と意味編集で大きな進歩を遂げた。 2DスタイルGANを3D顔に拡張する研究が進んでいるが、対応する汎用的な3D GANインバージョンフレームワークがいまだに欠落しており、3D顔再構成とセマンティック編集の応用が制限されている。 本稿では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN変換の課題について検討する。 形状とテクスチャの数え切れない構成は、現在のイメージにレンダリングされる可能性がある。 さらに, グローバル潜在コードの容量が限られているため, 3次元モデルに適用した場合, 忠実な形状とテクスチャを同時に保持することはできない。 この問題を解決するために,反転学習を制約する効果的な自己学習方式を考案する。 学習は実世界の2D-3Dトレーニングペアなしで効率的に行われ、3D GANから生成されたプロキシサンプルが生成される。 さらに,粗い形状やテクスチャ情報をキャプチャするグローバル潜在コードとは別に,顔の詳細を忠実に再現するためにピクセルにアライメントした機能を追加したローカルブランチで生成ネットワークを強化した。 さらに,3次元ビュー一貫性編集を行うパイプラインについても検討する。 本手法は, 形状とテクスチャの再現性の両方において, 最先端の逆転法よりも優れることを示す。 コードとデータはリリースされる。

関連論文リスト

• What You See is What You GAN: Rendering Every Pixel for High-Fidelity Geometry in 3D GANs [82.3936309001633]
  3D-aware Generative Adversarial Networks (GANs) は,マルチビュー一貫性画像と3Dジオメトリを生成する学習において,顕著な進歩を見せている。 しかし、ボリュームレンダリングにおける高密度サンプリングの大幅なメモリと計算コストにより、3D GANはパッチベースのトレーニングを採用するか、後処理の2Dスーパーレゾリューションで低解像度レンダリングを採用することを余儀なくされた。 ニューラルボリュームレンダリングをネイティブ2次元画像の高解像度化に拡張する手法を提案する。
  論文  参考訳（メタデータ） (2024-01-04T18:50:38Z)
• Designing a 3D-Aware StyleNeRF Encoder for Face Editing [15.303426697795143]
  本稿では,強力なStyleNeRFモデルに基づくGANインバージョンと顔編集のための3D対応エンコーダを提案する。 提案する3Daエンコーダは、パラメトリックな3次元顔モデルと学習可能な詳細表現モデルを組み合わせて、幾何学、テクスチャ、ビュー方向コードを生成する。
  論文  参考訳（メタデータ） (2023-02-19T03:32:28Z)
• 3D GAN Inversion with Facial Symmetry Prior [42.22071135018402]
  3D GANとGANの反転法を関連付けて、実際の画像をジェネレータの潜伏空間に投影することは自然である。 顔の対称性を事前に導入することで3D GANのインバージョンを促進する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T11:57:45Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• Pruning-based Topology Refinement of 3D Mesh using a 2D Alpha Mask [6.103988053817792]
  本稿では,顔解析手法を用いて,任意の3次元メッシュのトポロジを洗練させる手法を提案する。 私たちのソリューションは、それぞれの顔を2次元のソフトマップとして描画する微分可能を利用しています。 我々のモジュールは3Dメッシュを生成するネットワークに非依存であるため、自己管理されたイメージベースの3D再構成パイプラインに簡単に接続することができる。
  論文  参考訳（メタデータ） (2022-10-17T14:51:38Z)
• XDGAN: Multi-Modal 3D Shape Generation in 2D Space [60.46777591995821]
  本稿では,3次元形状をコンパクトな1チャネル幾何画像に変換し,StyleGAN3と画像間翻訳ネットワークを利用して2次元空間で3次元オブジェクトを生成する手法を提案する。 生成された幾何学画像は素早く3Dメッシュに変換し、リアルタイムな3Dオブジェクト合成、可視化、インタラクティブな編集を可能にする。 近年の3次元生成モデルと比較して,より高速かつ柔軟な3次元形状生成,単一ビュー再構成,形状操作などの様々なタスクにおいて,本手法が有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-06T15:54:01Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• An Effective Loss Function for Generating 3D Models from Single 2D Image without Rendering [0.0]
  微分レンダリングは、シングルビュー3Dレコンストラクションに適用できる非常に成功した技術である。 電流は、ある3d再構成対象のレンダリング画像と、与えられたマッチング視点からの接地画像との間のピクセルによる損失を利用して、3d形状のパラメータを最適化する。 再構成された3次元点群の投影が地上真理物体のシルエットをどの程度覆うかを評価する新しい効果的な損失関数を提案する。
  論文  参考訳（メタデータ） (2021-03-05T00:02:18Z)
• Do 2D GANs Know 3D Shape? Unsupervised 3D shape reconstruction from 2D Image GANs [156.1209884183522]
  GANのような最先端の2D生成モデルは、自然像多様体のモデリングにおいて前例のない品質を示している。 本稿では,RGB画像のみをトレーニングした市販の2D GANから3次元幾何学的手がかりを直接マイニングする試みについて紹介する。
  論文  参考訳（メタデータ） (2020-11-02T09:38:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。