論文の概要: Training and Tuning Generative Neural Radiance Fields for
Attribute-Conditional 3D-Aware Face Generation
- arxiv url: http://arxiv.org/abs/2208.12550v1
- Date: Fri, 26 Aug 2022 10:05:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-29 13:23:11.173250
- Title: Training and Tuning Generative Neural Radiance Fields for
Attribute-Conditional 3D-Aware Face Generation
- Title(参考訳): 属性依存型3次元顔生成のための学習・調整型ニューラルラジアンスフィールド
- Authors: Jichao Zhang, Aliaksandr Siarohin, Yahui Liu, Hao Tang, Nicu Sebe, Wei
Wang
- Abstract要約: 本稿では, 特定の属性ラベルを入力として使用する条件付きGNeRFモデルを提案する。
本モデルでは,非ターゲット領域を保存しながら,ビューの整合性を向上し,高品質な編集を行う。
- 参考スコア(独自算出の注目度): 71.09483443659055
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 3D-aware GANs based on generative neural radiance fields (GNeRF) have
achieved impressive high-quality image generation, while preserving strong 3D
consistency. The most notable achievements are made in the face generation
domain. However, most of these models focus on improving view consistency but
neglect a disentanglement aspect, thus these models cannot provide high-quality
semantic/attribute control over generation. To this end, we introduce a
conditional GNeRF model that uses specific attribute labels as input in order
to improve the controllabilities and disentangling abilities of 3D-aware
generative models. We utilize the pre-trained 3D-aware model as the basis and
integrate a dual-branches attribute-editing module (DAEM), that utilize
attribute labels to provide control over generation. Moreover, we propose a
TRIOT (TRaining as Init, and Optimizing for Tuning) method to optimize the
latent vector to improve the precision of the attribute-editing further.
Extensive experiments on the widely used FFHQ show that our model yields
high-quality editing with better view consistency while preserving the
non-target regions. The code is available at
https://github.com/zhangqianhui/TT-GNeRF.
- Abstract(参考訳): 生成神経放射場(GNeRF)に基づく3次元認識型GANは,強い3次元一貫性を維持しつつ,優れた高画質画像生成を実現している。
最も重要な成果は、face generationドメインにある。
しかしながら、これらのモデルのほとんどはビューの一貫性を改善することに重点を置いているが、絡み合う側面を無視しているため、これらのモデルは生成に対する高品質なセマンティック/属性制御を提供することはできない。
そこで,本稿では,特定の属性ラベルを入力として使用する条件付きgnerfモデルを導入することで,3d認識生成モデルの制御能力と分離能力を向上させる。
事前学習した3D認識モデルをベースとして,属性ラベルを利用して生成制御を行うデュアルブランチ属性編集モジュール(DAEM)を統合する。
さらに,潜在ベクトルを最適化し,属性編集の精度を向上させるためのtriot(training as init, and optimization for tuning)法を提案する。
ffhqを用いた広範囲な実験により,非目標領域を維持しつつ,高品質な編集が可能となった。
コードはhttps://github.com/zhangqianhui/TT-GNeRFで公開されている。
関連論文リスト
- Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian
Splatting [57.80942520483354]
3D-GSはしばしば、特異成分と異方性成分を正確にモデル化するのに困難に直面する。
球面調和の代わりに異方性球面ガウス場を利用するアプローチであるSpec-Gaussianを導入する。
実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。
論文 参考訳(メタデータ) (2024-02-24T17:22:15Z) - Pushing Auto-regressive Models for 3D Shape Generation at Capacity and
Scalability [121.44324465222498]
自己回帰モデルでは,格子空間における関節分布をモデル化することにより,2次元画像生成において顕著な結果が得られた。
自動回帰モデルを3次元領域に拡張し,キャパシティとスケーラビリティを同時に向上することにより,3次元形状生成の強力な能力を求める。
論文 参考訳(メタデータ) (2024-02-19T15:33:09Z) - Enhancing High-Resolution 3D Generation through Pixel-wise Gradient
Clipping [46.364968008574664]
高解像度の3Dオブジェクト生成は、包括的な注釈付きトレーニングデータの入手が限られているため、依然として困難な課題である。
近年の進歩は、広範囲なキュレートされたWebデータセットに事前訓練された画像生成モデルを活用することで、この制約を克服することを目的としている。
本稿では,既存の3次元生成モデルへのシームレスな統合を目的とした,Pixel-wise Gradient Clipping (PGC) と呼ばれる革新的な操作を提案する。
論文 参考訳(メタデータ) (2023-10-19T05:15:17Z) - Learning Versatile 3D Shape Generation with Improved AR Models [91.87115744375052]
自己回帰(AR)モデルはグリッド空間の関節分布をモデル化することにより2次元画像生成において印象的な結果を得た。
本稿では3次元形状生成のための改良された自己回帰モデル(ImAM)を提案する。
論文 参考訳(メタデータ) (2023-03-26T12:03:18Z) - NeRF-GAN Distillation for Efficient 3D-Aware Generation with
Convolutions [97.27105725738016]
GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。
提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
論文 参考訳(メタデータ) (2023-03-22T18:59:48Z) - 3D Generative Model Latent Disentanglement via Local Eigenprojection [13.713373496487012]
本稿では,3次元頭部および体メッシュの異なるニューラルネットワークに基づく生成モデルに対するスペクトル幾何学に基づく新しい損失関数を提案する。
実験結果から,我々の局所固有射影不整形(LED)モデルでは,最先端技術に対する不整形が改善されていることがわかった。
論文 参考訳(メタデータ) (2023-02-24T18:19:49Z) - CGOF++: Controllable 3D Face Synthesis with Conditional Generative
Occupancy Fields [52.14985242487535]
生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。
中心となるのは条件付き生成操作場(cGOF++)であり、それによって生成された顔の形状が与えられた3Dモルファブルモデル(3DMM)メッシュに適合するように効果的に強制される。
提案手法の有効性を検証し, 最先端の2次元顔合成法よりも高精度な3次元制御性を示す実験を行った。
論文 参考訳(メタデータ) (2022-11-23T19:02:50Z) - AE-NeRF: Auto-Encoding Neural Radiance Fields for 3D-Aware Object
Manipulation [24.65896451569795]
我々は,AE-NeRF(Auto-Aware Neural Radiance Fields)と呼ばれる3次元物体操作のための新しいフレームワークを提案する。
我々のモデルは自動エンコーダアーキテクチャで定式化され、画像から3次元形状、外観、カメラポーズなどの不整形3D属性を抽出する。
歪み生成ニューラルレージアンスフィールド(NeRF)による特性から高品質な画像が描画される
論文 参考訳(メタデータ) (2022-04-28T11:50:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。