論文の概要: Injecting 3D Perception of Controllable NeRF-GAN into StyleGAN for Editable Portrait Image Synthesis

• arxiv url: http://arxiv.org/abs/2207.10257v1
• Date: Thu, 21 Jul 2022 01:41:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-22 13:30:07.692174
• Title: Injecting 3D Perception of Controllable NeRF-GAN into StyleGAN for Editable Portrait Image Synthesis
• Title（参考訳）: 編集可能な画像合成のための制御可能なNeRF-GANの3次元知覚をStyleGANに注入する
• Authors: Jeong-gi Kwak, Yuanming Li, Dongsik Yoon, Donghyeon Kim, David Han, Hanseok Ko
• Abstract要約: 本稿では,訓練中に意味的属性を発見し,教師なしで制御できる新しい3D認識型GAN,SURF-GANを提案する。 そして、SURF-GANの前駆体をStyleGANに注入し、高忠実度3D制御可能なジェネレータを得る。 暗黙のポーズ制御が可能な既存の潜在型手法とは異なり、提案した3D制御可能なStyleGANは、ポートレート生成に対する明示的なポーズ制御を可能にする。
• 参考スコア（独自算出の注目度）: 19.421946520801274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Over the years, 2D GANs have achieved great successes in photorealistic portrait generation. However, they lack 3D understanding in the generation process, thus they suffer from multi-view inconsistency problem. To alleviate the issue, many 3D-aware GANs have been proposed and shown notable results, but 3D GANs struggle with editing semantic attributes. The controllability and interpretability of 3D GANs have not been much explored. In this work, we propose two solutions to overcome these weaknesses of 2D GANs and 3D-aware GANs. We first introduce a novel 3D-aware GAN, SURF-GAN, which is capable of discovering semantic attributes during training and controlling them in an unsupervised manner. After that, we inject the prior of SURF-GAN into StyleGAN to obtain a high-fidelity 3D-controllable generator. Unlike existing latent-based methods allowing implicit pose control, the proposed 3D-controllable StyleGAN enables explicit pose control over portrait generation. This distillation allows direct compatibility between 3D control and many StyleGAN-based techniques (e.g., inversion and stylization), and also brings an advantage in terms of computational resources. Our codes are available at https://github.com/jgkwak95/SURF-GAN.
• Abstract（参考訳）: 長年にわたって、2d ganはフォトリアリスティックなポートレート生成で大きな成功を収めてきた。 しかし、生成プロセスの3d理解が欠けているため、マルチビューの不整合問題に苦しむ。 この問題を緩和するために、多くの3D対応のGANが提案され、顕著な結果が示されているが、3D GANはセマンティック属性の編集に苦労している。 3次元ganの制御性や解釈性はあまり研究されていない。 本研究では,2次元GANと3次元GANの弱点を克服する2つの方法を提案する。 まず、訓練中に意味的属性を発見し、教師なしで制御できる新しい3D認識型GAN、SURF-GANを紹介する。 その後、SURF-GANの前駆体をStyleGANに注入し、高忠実度3D制御可能なジェネレータを得る。 暗黙のポーズ制御が可能な既存の潜在型手法とは異なり、提案した3D制御可能なStyleGANは、ポートレート生成に対する明示的なポーズ制御を可能にする。 この蒸留により、3D制御と多くのStyleGANベースの技術(インバージョンやスタイリングなど)の直接的な互換性が得られ、計算資源の面でも有利である。 私たちのコードはhttps://github.com/jgkwak95/SURF-GAN.comで公開されています。

関連論文リスト

• HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks [101.36230756743106]
  本論文は,2次元画像の中間表現として,2次元領域と3次元領域を3次元フィールドで橋渡しする3次元GANの成功に着想を得たものである。 本稿では,3次元ポートレートスタイリングのための3次元認識型GANをベースとしたHyperStyle3Dという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-19T07:22:05Z)
• Control3Diff: Learning Controllable 3D Diffusion Models from Single-view Images [70.17085345196583]
  Control3Diffは拡散モデルと3D GANの強みを組み合わせた3次元拡散モデルである。 FFHQ,AFHQ,ShapeNet などの標準画像生成ベンチマークにおける Control3Diff の有効性を検証する。
  論文  参考訳（メタデータ） (2023-04-13T17:52:29Z)
• LatentSwap3D: Semantic Edits on 3D Image GANs [48.1271011449138]
  3D GANは2D画像だけでなく、全3Dボリュームの遅延コードを生成することができる。 LatentSwap3Dは、潜在空間発見に基づくセマンティックな編集手法である。 7つの3D GANと5つのデータセットで結果を示す。
  論文  参考訳（メタデータ） (2022-12-02T18:59:51Z)
• 3D GAN Inversion with Pose Optimization [26.140281977885376]
  本稿では,カメラ視点と潜時符号を同時に推論し,マルチビューで一貫したセマンティック画像編集を可能にする一般化可能な3D GANインバージョン手法を提案する。 画像の再構成と編集を定量的かつ質的に行い、さらに2D GANベースの編集と比較した。
  論文  参考訳（メタデータ） (2022-10-13T19:06:58Z)
• AniFaceGAN: Animatable 3D-Aware Face Image Generation for Video Avatars [71.00322191446203]
  2D生成モデルは、異なるカメラ視点で画像をレンダリングする際に、しばしば望ましくないアーティファクトに悩まされる。 近年,3次元シーン表現を活用することで,3次元カメラポーズのゆがみを明示するために2次元GANを拡張している。 マルチビュー一貫した顔アニメーション生成のためのアニマタブルな3D対応GANを提案する。
  論文  参考訳（メタデータ） (2022-10-12T17:59:56Z)
• Improving 3D-aware Image Synthesis with A Geometry-aware Discriminator [68.0533826852601]
  3Dを意識した画像合成は、画像のリアルな2D画像の描画が可能な生成モデルを学ぶことを目的としている。 既存の方法では、適度な3D形状が得られない。 本稿では,3次元GANの改良を目的とした幾何学的識別器を提案する。
  論文  参考訳（メタデータ） (2022-09-30T17:59:37Z)
• 3D-FM GAN: Towards 3D-Controllable Face Manipulation [43.99393180444706]
  3D-FM GANは、3D制御可能な顔操作に特化した新しい条件付きGANフレームワークである。 入力された顔画像と3D編集の物理的レンダリングの両方をStyleGANの潜在空間に注意深く符号化することにより、画像生成装置は高品質でアイデンティティを保存し、3D制御可能な顔操作を提供する。 提案手法は, 編集性の向上, アイデンティティの保存性の向上, 写真リアリズムの向上など, 様々なタスクにおいて, 先行技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-24T01:33:13Z)
• CIPS-3D: A 3D-Aware Generator of GANs Based on Conditionally-Independent Pixel Synthesis [148.4104739574094]
  本稿では,浅いNeRFネットワークと深い暗黙のニューラル表現ネットワークからなるスタイルベースの3D対応ジェネレータであるCIPS-3Dを提案する。 ジェネレータは、空間畳み込みやアップサンプリング操作をすることなく、各画素値を独立して合成する。 FFHQの256times256$解像度で、画像のFIDが6.97で3D対応画像合成の新記録を樹立した。
  論文  参考訳（メタデータ） (2021-10-19T08:02:16Z)
• Lifting 2D StyleGAN for 3D-Aware Face Generation [52.8152883980813]
  我々は,3次元顔生成のための事前学習済みのStyleGAN2を切断し,持ち上げるLiftedGANというフレームワークを提案する。 本モデルは,(1)StyleGAN2の潜伏空間をテクスチャ,形状,視点,照明に分解し,(2)合成画像のための3D成分を生成することができるという意味で「3D認識」である。
  論文  参考訳（メタデータ） (2020-11-26T05:02:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。