Fugu-MT 論文翻訳(概要): Training and Tuning Generative Neural Radiance Fields for Attribute-Conditional 3D-Aware Face Generation

論文の概要: Training and Tuning Generative Neural Radiance Fields for Attribute-Conditional 3D-Aware Face Generation

arxiv url: http://arxiv.org/abs/2208.12550v3
Date: Sun, 1 Sep 2024 06:14:37 GMT
ステータス: 処理完了
システム内更新日: 2024-09-04 23:16:54.090891
Title: Training and Tuning Generative Neural Radiance Fields for Attribute-Conditional 3D-Aware Face Generation
Title（参考訳）: 属性依存型3次元顔生成のための学習・調整型ニューラルラジアンスフィールド
Authors: Jichao Zhang, Aliaksandr Siarohin, Yahui Liu, Hao Tang, Nicu Sebe, Wei Wang,
Abstract要約: 本稿では,特定の属性ラベルを入力として統合した条件付きGNeRFモデルを提案する。提案手法は, 事前学習した3次元顔モデルに基づいており, 条件付き正規化フローモジュールをトレーニングするためのTraining as Init and fidelity for Tuning (TRIOT) 方式を提案する。本実験は,ビューの整合性を高めた高品質な編集を行う能力を示すとともに,本モデルの有効性を実証するものである。
参考スコア（独自算出の注目度）: 66.21121745446345
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Generative Neural Radiance Fields (GNeRF)-based 3D-aware GANs have showcased remarkable prowess in crafting high-fidelity images while upholding robust 3D consistency, particularly face generation. However, specific existing models prioritize view consistency over disentanglement, leading to constrained semantic or attribute control during the generation process. While many methods have explored incorporating semantic masks or leveraging 3D Morphable Models (3DMM) priors to imbue models with semantic control, these methods often demand training from scratch, entailing significant computational overhead. In this paper, we propose a novel approach: a conditional GNeRF model that integrates specific attribute labels as input, thus amplifying the controllability and disentanglement capabilities of 3D-aware generative models. Our approach builds upon a pre-trained 3D-aware face model, and we introduce a Training as Init and Optimizing for Tuning (TRIOT) method to train a conditional normalized flow module to enable the facial attribute editing, then optimize the latent vector to improve attribute-editing precision further. Our extensive experiments substantiate the efficacy of our model, showcasing its ability to generate high-quality edits with enhanced view consistency while safeguarding non-target regions. The code for our model is publicly available at https://github.com/zhangqianhui/TT-GNeRF.
Abstract（参考訳）: GNeRF(Generative Neural Radiance Fields)ベースの3D対応GANは、特に顔生成において堅牢な3D一貫性を保ちながら、高忠実な画像を製作する際、顕著な進歩を見せている。しかし、特定の既存モデルは、乱れよりもビューの一貫性を優先し、生成プロセス中に制約付きセマンティクスや属性制御につながる。セマンティックマスクを組み込んだり、3Dモーフブルモデル(3DMM)をセマンティックコントロールを備えたイミューモデルに先立たせる方法が数多くあるが、これらの手法は多くの場合、スクラッチからトレーニングを必要としており、計算上のオーバーヘッドがかなり大きい。本稿では,特定の属性ラベルを入力として統合した条件付きGNeRFモデルを提案する。提案手法は,事前学習した3D認識顔モデルに基づいており,条件付き正規化フローモジュールを訓練して顔属性の編集を可能にし,潜在ベクトルを最適化して属性編集精度をさらに向上させる,Training as Init and Optimizing for Tuning (TRIOT) 手法を導入している。提案モデルの有効性を実証し,非ターゲット領域を保護しつつ,視界の整合性を高めた高品質な編集を実現できることを示す。私たちのモデルのコードはhttps://github.com/zhangqianhui/TT-GNeRF.comで公開されています。

関連論文リスト

TripoSG: High-Fidelity 3D Shape Synthesis using Large-Scale Rectified Flow Models [69.0220314849478]
TripoSGは入力画像に正確に対応して高忠実度3Dメッシュを生成することができる新しいパラダイムである。結果として得られた3D形状は、高解像度の能力によって細部を拡大し、入力した現在年齢に対して例外的な忠実さを示す。 3Dジェネレーションの分野における進歩と革新を促進するため、我々はモデルを一般公開する。
論文参考訳（メタデータ） (2025-02-10T16:07:54Z)
A Lesson in Splats: Teacher-Guided Diffusion for 3D Gaussian Splats Generation with 2D Supervision [65.33043028101471]
本研究では,ガウスプレートの拡散モデルであるSplatDiffusionを導入し,単一画像から3次元構造を生成する。既存の方法は決定論的フィードフォワード予測に依存しており、2Dデータからの3D推論の本質的な曖昧さを扱う能力を制限する。
論文参考訳（メタデータ） (2024-12-01T00:29:57Z)
3D-WAG: Hierarchical Wavelet-Guided Autoregressive Generation for High-Fidelity 3D Shapes [20.675695749508353]
本研究では,非条件形状生成が可能な3次元暗黙距離場のためのARモデルである3D-WAGを紹介する。 3次元AR生成タスクを次のスケールの予測として再定義することにより、生成の計算コストを削減できる。以上の結果から,3D-WAGはCoverageやMDといった重要な指標において優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2024-11-28T10:33:01Z)
Masked Generative Extractor for Synergistic Representation and 3D Generation of Point Clouds [6.69660410213287]
我々は,3次元表現学習と生成学習を深く統合する利点を探るため,Point-MGEと呼ばれる革新的なフレームワークを提案する。形状分類において、Point-MGEはModelNet40データセットで94.2%(+1.0%)、ScanObjectNNデータセットで92.9%(+5.5%)の精度を達成した。また,非条件条件と条件条件条件条件の両方で,Point-MGEが高品質な3D形状を生成可能であることを確認した。
論文参考訳（メタデータ） (2024-06-25T07:57:03Z)
MeshXL: Neural Coordinate Field for Generative 3D Foundation Models [51.1972329762843]
本稿では,現代の大規模言語モデルを用いた3次元メッシュ生成のプロセスに対処する,事前学習型自己回帰モデルの生成ファミリを提案する。 MeshXLは高品質な3Dメッシュを生成することができ、さまざまなダウンストリームアプリケーションの基盤モデルとしても機能する。
論文参考訳（メタデータ） (2024-05-31T14:35:35Z)
Controllable Text-to-3D Generation via Surface-Aligned Gaussian Splatting [9.383423119196408]
本稿では,既存の多視点拡散モデルを強化するために設計されたニューラルネットワークアーキテクチャであるMulti-view ControlNet(MVControl)を紹介する。 MVControlは最適化ベースの3D生成のための3D拡散ガイダンスを提供することができる。効率性を追求するために、一般的に使用される暗黙の表現の代わりに、3Dガウスを表現として採用する。
論文参考訳（メタデータ） (2024-03-15T02:57:20Z)
Learning Versatile 3D Shape Generation with Improved AR Models [91.87115744375052]
自己回帰(AR)モデルはグリッド空間の関節分布をモデル化することにより2次元画像生成において印象的な結果を得た。本稿では3次元形状生成のための改良された自己回帰モデル(ImAM)を提案する。
論文参考訳（メタデータ） (2023-03-26T12:03:18Z)
NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions [97.27105725738016]
GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
論文参考訳（メタデータ） (2023-03-22T18:59:48Z)
3D Generative Model Latent Disentanglement via Local Eigenprojection [13.713373496487012]
本稿では,3次元頭部および体メッシュの異なるニューラルネットワークに基づく生成モデルに対するスペクトル幾何学に基づく新しい損失関数を提案する。実験結果から,我々の局所固有射影不整形(LED)モデルでは,最先端技術に対する不整形が改善されていることがわかった。
論文参考訳（メタデータ） (2023-02-24T18:19:49Z)
AE-NeRF: Auto-Encoding Neural Radiance Fields for 3D-Aware Object Manipulation [24.65896451569795]
我々は,AE-NeRF(Auto-Aware Neural Radiance Fields)と呼ばれる3次元物体操作のための新しいフレームワークを提案する。我々のモデルは自動エンコーダアーキテクチャで定式化され、画像から3次元形状、外観、カメラポーズなどの不整形3D属性を抽出する。歪み生成ニューラルレージアンスフィールド(NeRF)による特性から高品質な画像が描画される
論文参考訳（メタデータ） (2022-04-28T11:50:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。