論文の概要: Training and Tuning Generative Neural Radiance Fields for Attribute-Conditional 3D-Aware Face Generation

• arxiv url: http://arxiv.org/abs/2208.12550v2
• Date: Wed, 18 Oct 2023 04:00:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-19 13:29:10.151027
• Title: Training and Tuning Generative Neural Radiance Fields for Attribute-Conditional 3D-Aware Face Generation
• Title（参考訳）: 属性依存型3次元顔生成のための学習・調整型ニューラルラジアンスフィールド
• Authors: Jichao Zhang, Aliaksandr Siarohin, Yahui Liu, Hao Tang, Nicu Sebe, Wei Wang
• Abstract要約: GNeRF(Generative Neural Radiance Fields)をベースとした3次元GANは、高品質な画像を生成する際、顕著な能力を示した。 本稿では, 特定の属性ラベルを入力として組み込んだ条件付きGNeRFモデルを提案する。
• 参考スコア（独自算出の注目度）: 69.53142666853502
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative Neural Radiance Fields (GNeRF) based 3D-aware GANs have demonstrated remarkable capabilities in generating high-quality images while maintaining strong 3D consistency. Notably, significant advancements have been made in the domain of face generation. However, most existing models prioritize view consistency over disentanglement, resulting in limited semantic/attribute control during generation. To address this limitation, we propose a conditional GNeRF model incorporating specific attribute labels as input to enhance the controllability and disentanglement abilities of 3D-aware generative models. Our approach builds upon a pre-trained 3D-aware face model, and we introduce a Training as Init and Optimizing for Tuning (TRIOT) method to train a conditional normalized flow module to enable the facial attribute editing, then optimize the latent vector to improve attribute-editing precision further. Our extensive experiments demonstrate that our model produces high-quality edits with superior view consistency while preserving non-target regions. Code is available at https://github.com/zhangqianhui/TT-GNeRF.
• Abstract（参考訳）: GNeRF(Generative Neural Radiance Fields)ベースの3次元GANは、強力な3D一貫性を維持しながら高品質な画像を生成する際、顕著な能力を示した。 特に、顔生成領域において顕著な進歩が見られた。 しかし、既存のほとんどのモデルでは、切り離しよりもビューの一貫性を優先しており、生成時のセマンティック/属性制御が制限される。 この制限に対処するために, 特定の属性ラベルを入力として組み込んだ条件付きGNeRFモデルを提案する。 提案手法は,事前学習した3D認識顔モデルに基づいており,条件付き正規化フローモジュールを訓練して顔属性の編集を可能にし,潜在ベクトルを最適化して属性編集精度をさらに向上させる,Training as Init and Optimizing for Tuning (TRIOT) 手法を導入している。 広範囲にわたる実験により,非目標領域を維持しつつ,高品質な編集を実現することを実証した。 コードはhttps://github.com/zhangqianhui/TT-GNeRFで公開されている。

関連論文リスト

• Controllable Text-to-3D Generation via Surface-Aligned Gaussian Splatting [9.383423119196408]
  本稿では,既存の多視点拡散モデルを強化するために設計されたニューラルネットワークアーキテクチャであるMulti-view ControlNet(MVControl)を紹介する。 MVControlは最適化ベースの3D生成のための3D拡散ガイダンスを提供することができる。 効率性を追求するために、一般的に使用される暗黙の表現の代わりに、3Dガウスを表現として採用する。
  論文  参考訳（メタデータ） (2024-03-15T02:57:20Z)
• Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [57.80942520483354]
  3D-GSはしばしば、特異成分と異方性成分を正確にモデル化するのに困難に直面する。 球面調和の代わりに異方性球面ガウス場を利用するアプローチであるSpec-Gaussianを導入する。 実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。
  論文  参考訳（メタデータ） (2024-02-24T17:22:15Z)
• Pushing Auto-regressive Models for 3D Shape Generation at Capacity and Scalability [118.26563926533517]
  自己回帰モデルでは,格子空間における関節分布をモデル化することにより,2次元画像生成において顕著な結果が得られた。 自動回帰モデルを3次元領域に拡張し,キャパシティとスケーラビリティを同時に向上することにより,3次元形状生成の強力な能力を求める。
  論文  参考訳（メタデータ） (2024-02-19T15:33:09Z)
• Enhancing High-Resolution 3D Generation through Pixel-wise Gradient Clipping [46.364968008574664]
  高解像度の3Dオブジェクト生成は、包括的な注釈付きトレーニングデータの入手が限られているため、依然として困難な課題である。 近年の進歩は、広範囲なキュレートされたWebデータセットに事前訓練された画像生成モデルを活用することで、この制約を克服することを目的としている。 本稿では,既存の3次元生成モデルへのシームレスな統合を目的とした,Pixel-wise Gradient Clipping (PGC) と呼ばれる革新的な操作を提案する。
  論文  参考訳（メタデータ） (2023-10-19T05:15:17Z)
• Learning Versatile 3D Shape Generation with Improved AR Models [91.87115744375052]
  自己回帰(AR)モデルはグリッド空間の関節分布をモデル化することにより2次元画像生成において印象的な結果を得た。 本稿では3次元形状生成のための改良された自己回帰モデル(ImAM)を提案する。
  論文  参考訳（メタデータ） (2023-03-26T12:03:18Z)
• NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions [97.27105725738016]
  GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。 提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
  論文  参考訳（メタデータ） (2023-03-22T18:59:48Z)
• 3D Generative Model Latent Disentanglement via Local Eigenprojection [13.713373496487012]
  本稿では,3次元頭部および体メッシュの異なるニューラルネットワークに基づく生成モデルに対するスペクトル幾何学に基づく新しい損失関数を提案する。 実験結果から,我々の局所固有射影不整形(LED)モデルでは,最先端技術に対する不整形が改善されていることがわかった。
  論文  参考訳（メタデータ） (2023-02-24T18:19:49Z)
• CGOF++: Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields [52.14985242487535]
  生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。 中心となるのは条件付き生成操作場(cGOF++)であり、それによって生成された顔の形状が与えられた3Dモルファブルモデル(3DMM)メッシュに適合するように効果的に強制される。 提案手法の有効性を検証し, 最先端の2次元顔合成法よりも高精度な3次元制御性を示す実験を行った。
  論文  参考訳（メタデータ） (2022-11-23T19:02:50Z)
• AE-NeRF: Auto-Encoding Neural Radiance Fields for 3D-Aware Object Manipulation [24.65896451569795]
  我々は,AE-NeRF(Auto-Aware Neural Radiance Fields)と呼ばれる3次元物体操作のための新しいフレームワークを提案する。 我々のモデルは自動エンコーダアーキテクチャで定式化され、画像から3次元形状、外観、カメラポーズなどの不整形3D属性を抽出する。 歪み生成ニューラルレージアンスフィールド(NeRF)による特性から高品質な画像が描画される
  論文  参考訳（メタデータ） (2022-04-28T11:50:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。