論文の概要: Designing a 3D-Aware StyleNeRF Encoder for Face Editing

• arxiv url: http://arxiv.org/abs/2302.09467v1
• Date: Sun, 19 Feb 2023 03:32:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-21 18:17:26.902476
• Title: Designing a 3D-Aware StyleNeRF Encoder for Face Editing
• Title（参考訳）: 顔編集のための3dアウェアスタイルナーフエンコーダの設計
• Authors: Songlin Yang, Wei Wang, Bo Peng, Jing Dong
• Abstract要約: 本稿では,強力なStyleNeRFモデルに基づくGANインバージョンと顔編集のための3D対応エンコーダを提案する。 提案する3Daエンコーダは、パラメトリックな3次元顔モデルと学習可能な詳細表現モデルを組み合わせて、幾何学、テクスチャ、ビュー方向コードを生成する。
• 参考スコア（独自算出の注目度）: 15.303426697795143
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: GAN inversion has been exploited in many face manipulation tasks, but 2D GANs often fail to generate multi-view 3D consistent images. The encoders designed for 2D GANs are not able to provide sufficient 3D information for the inversion and editing. Therefore, 3D-aware GAN inversion is proposed to increase the 3D editing capability of GANs. However, the 3D-aware GAN inversion remains under-explored. To tackle this problem, we propose a 3D-aware (3Da) encoder for GAN inversion and face editing based on the powerful StyleNeRF model. Our proposed 3Da encoder combines a parametric 3D face model with a learnable detail representation model to generate geometry, texture and view direction codes. For more flexible face manipulation, we then design a dual-branch StyleFlow module to transfer the StyleNeRF codes with disentangled geometry and texture flows. Extensive experiments demonstrate that we realize 3D consistent face manipulation in both facial attribute editing and texture transfer. Furthermore, for video editing, we make the sequence of frame codes share a common canonical manifold, which improves the temporal consistency of the edited attributes.
• Abstract（参考訳）: GANインバージョンは多くの顔操作タスクで利用されてきたが、2D GANは多視点3D一貫性のある画像を生成するのに失敗することが多い。 2D GAN用に設計されたエンコーダは、インバージョンと編集に十分な3D情報を提供することができない。 したがって、3D対応のGANインバージョンは、GANの3D編集能力を高めるために提案される。 しかし、3D対応のGANインバージョンはいまだ探索されていない。 この問題に対処するために,強力なStyleNeRFモデルに基づくGANインバージョンと顔編集のための3D対応(3Da)エンコーダを提案する。 提案する3daエンコーダは,パラメトリック3次元顔モデルと学習可能なディテール表現モデルを組み合わせた形状,テクスチャ,視野方向コードを生成する。 よりフレキシブルな顔操作のために、二分岐のStyleFlowモジュールを設計し、不整合幾何とテクスチャフローでStyleNeRFコードを転送する。 顔属性の編集とテクスチャ伝達の両面で3次元一貫した顔操作を実現した。 さらに,映像編集では,フレームコードのシーケンスを共通の正準多様体にすることで,編集属性の時間的一貫性を向上させる。

関連論文リスト

• DragGaussian: Enabling Drag-style Manipulation on 3D Gaussian Representation [57.406031264184584]
  DragGaussianは、3D Gaussian Splattingをベースにした3Dオブジェクトのドラッグ編集フレームワークである。 我々の貢献は、新しいタスクの導入、インタラクティブなポイントベース3D編集のためのDragGaussianの開発、質的かつ定量的な実験によるその効果の包括的検証などである。
  論文  参考訳（メタデータ） (2024-05-09T14:34:05Z)
• Make Encoder Great Again in 3D GAN Inversion through Geometry and Occlusion-Aware Encoding [25.86312557482366]
  3D GANインバージョンは、単一の画像入力から高い再構成忠実度と合理的な3D幾何を同時に達成することを目的としている。 本稿では,最も広く使用されている3D GANモデルの1つであるEG3Dに基づく,新しいエンコーダベースの逆変換フレームワークを提案する。 提案手法は,最大500倍高速に動作しながら,最適化手法に匹敵する印象的な結果が得られる。
  論文  参考訳（メタデータ） (2023-03-22T05:51:53Z)
• CC3D: Layout-Conditioned Generation of Compositional 3D Scenes [49.281006972028194]
  本稿では,複雑な3次元シーンを2次元セマンティックなシーンレイアウトで合成する条件生成モデルであるCC3Dを紹介する。 合成3D-FRONTと実世界のKITTI-360データセットに対する評価は、我々のモデルが視覚的および幾何学的品質を改善したシーンを生成することを示す。
  論文  参考訳（メタデータ） (2023-03-21T17:59:02Z)
• Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
  StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。 対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。 本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T18:49:50Z)
• LatentSwap3D: Semantic Edits on 3D Image GANs [48.1271011449138]
  3D GANは2D画像だけでなく、全3Dボリュームの遅延コードを生成することができる。 LatentSwap3Dは、潜在空間発見に基づくセマンティックな編集手法である。 7つの3D GANと5つのデータセットで結果を示す。
  論文  参考訳（メタデータ） (2022-12-02T18:59:51Z)
• 3D GAN Inversion with Pose Optimization [26.140281977885376]
  本稿では,カメラ視点と潜時符号を同時に推論し,マルチビューで一貫したセマンティック画像編集を可能にする一般化可能な3D GANインバージョン手法を提案する。 画像の再構成と編集を定量的かつ質的に行い、さらに2D GANベースの編集と比較した。
  論文  参考訳（メタデータ） (2022-10-13T19:06:58Z)
• XDGAN: Multi-Modal 3D Shape Generation in 2D Space [60.46777591995821]
  本稿では,3次元形状をコンパクトな1チャネル幾何画像に変換し,StyleGAN3と画像間翻訳ネットワークを利用して2次元空間で3次元オブジェクトを生成する手法を提案する。 生成された幾何学画像は素早く3Dメッシュに変換し、リアルタイムな3Dオブジェクト合成、可視化、インタラクティブな編集を可能にする。 近年の3次元生成モデルと比較して,より高速かつ柔軟な3次元形状生成,単一ビュー再構成,形状操作などの様々なタスクにおいて,本手法が有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-06T15:54:01Z)
• Improving 3D-aware Image Synthesis with A Geometry-aware Discriminator [68.0533826852601]
  3Dを意識した画像合成は、画像のリアルな2D画像の描画が可能な生成モデルを学ぶことを目的としている。 既存の方法では、適度な3D形状が得られない。 本稿では,3次元GANの改良を目的とした幾何学的識別器を提案する。
  論文  参考訳（メタデータ） (2022-09-30T17:59:37Z)
• 3D-FM GAN: Towards 3D-Controllable Face Manipulation [43.99393180444706]
  3D-FM GANは、3D制御可能な顔操作に特化した新しい条件付きGANフレームワークである。 入力された顔画像と3D編集の物理的レンダリングの両方をStyleGANの潜在空間に注意深く符号化することにより、画像生成装置は高品質でアイデンティティを保存し、3D制御可能な顔操作を提供する。 提案手法は, 編集性の向上, アイデンティティの保存性の向上, 写真リアリズムの向上など, 様々なタスクにおいて, 先行技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-24T01:33:13Z)
• Lifting 2D StyleGAN for 3D-Aware Face Generation [52.8152883980813]
  我々は,3次元顔生成のための事前学習済みのStyleGAN2を切断し,持ち上げるLiftedGANというフレームワークを提案する。 本モデルは,(1)StyleGAN2の潜伏空間をテクスチャ,形状,視点,照明に分解し,(2)合成画像のための3D成分を生成することができるという意味で「3D認識」である。
  論文  参考訳（メタデータ） (2020-11-26T05:02:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。