論文の概要: Training and Tuning Generative Neural Radiance Fields for Attribute-Conditional 3D-Aware Face Generation

• arxiv url: http://arxiv.org/abs/2208.12550v1
• Date: Fri, 26 Aug 2022 10:05:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-29 13:23:11.173250
• Title: Training and Tuning Generative Neural Radiance Fields for Attribute-Conditional 3D-Aware Face Generation
• Title（参考訳）: 属性依存型3次元顔生成のための学習・調整型ニューラルラジアンスフィールド
• Authors: Jichao Zhang, Aliaksandr Siarohin, Yahui Liu, Hao Tang, Nicu Sebe, Wei Wang
• Abstract要約: 本稿では, 特定の属性ラベルを入力として使用する条件付きGNeRFモデルを提案する。 本モデルでは,非ターゲット領域を保存しながら,ビューの整合性を向上し,高品質な編集を行う。
• 参考スコア（独自算出の注目度）: 71.09483443659055
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D-aware GANs based on generative neural radiance fields (GNeRF) have achieved impressive high-quality image generation, while preserving strong 3D consistency. The most notable achievements are made in the face generation domain. However, most of these models focus on improving view consistency but neglect a disentanglement aspect, thus these models cannot provide high-quality semantic/attribute control over generation. To this end, we introduce a conditional GNeRF model that uses specific attribute labels as input in order to improve the controllabilities and disentangling abilities of 3D-aware generative models. We utilize the pre-trained 3D-aware model as the basis and integrate a dual-branches attribute-editing module (DAEM), that utilize attribute labels to provide control over generation. Moreover, we propose a TRIOT (TRaining as Init, and Optimizing for Tuning) method to optimize the latent vector to improve the precision of the attribute-editing further. Extensive experiments on the widely used FFHQ show that our model yields high-quality editing with better view consistency while preserving the non-target regions. The code is available at https://github.com/zhangqianhui/TT-GNeRF.
• Abstract（参考訳）: 生成神経放射場(GNeRF)に基づく3次元認識型GANは,強い3次元一貫性を維持しつつ,優れた高画質画像生成を実現している。 最も重要な成果は、face generationドメインにある。 しかしながら、これらのモデルのほとんどはビューの一貫性を改善することに重点を置いているが、絡み合う側面を無視しているため、これらのモデルは生成に対する高品質なセマンティック/属性制御を提供することはできない。 そこで,本稿では,特定の属性ラベルを入力として使用する条件付きgnerfモデルを導入することで,3d認識生成モデルの制御能力と分離能力を向上させる。 事前学習した3D認識モデルをベースとして,属性ラベルを利用して生成制御を行うデュアルブランチ属性編集モジュール(DAEM)を統合する。 さらに,潜在ベクトルを最適化し,属性編集の精度を向上させるためのtriot(training as init, and optimization for tuning)法を提案する。 ffhqを用いた広範囲な実験により,非目標領域を維持しつつ,高品質な編集が可能となった。 コードはhttps://github.com/zhangqianhui/TT-GNeRFで公開されている。

関連論文リスト

• Masked Generative Extractor for Synergistic Representation and 3D Generation of Point Clouds [6.69660410213287]
  我々は,3次元表現学習と生成学習を深く統合する利点を探るため,Point-MGEと呼ばれる革新的なフレームワークを提案する。 形状分類において、Point-MGEはModelNet40データセットで94.2%(+1.0%)、ScanObjectNNデータセットで92.9%(+5.5%)の精度を達成した。 また,非条件条件と条件条件条件条件の両方で,Point-MGEが高品質な3D形状を生成可能であることを確認した。
  論文  参考訳（メタデータ） (2024-06-25T07:57:03Z)
• MeshXL: Neural Coordinate Field for Generative 3D Foundation Models [51.1972329762843]
  本稿では,現代の大規模言語モデルを用いた3次元メッシュ生成のプロセスに対処する,事前学習型自己回帰モデルの生成ファミリを提案する。 MeshXLは高品質な3Dメッシュを生成することができ、さまざまなダウンストリームアプリケーションの基盤モデルとしても機能する。
  論文  参考訳（メタデータ） (2024-05-31T14:35:35Z)
• Controllable Text-to-3D Generation via Surface-Aligned Gaussian Splatting [9.383423119196408]
  本稿では,既存の多視点拡散モデルを強化するために設計されたニューラルネットワークアーキテクチャであるMulti-view ControlNet(MVControl)を紹介する。 MVControlは最適化ベースの3D生成のための3D拡散ガイダンスを提供することができる。 効率性を追求するために、一般的に使用される暗黙の表現の代わりに、3Dガウスを表現として採用する。
  論文  参考訳（メタデータ） (2024-03-15T02:57:20Z)
• Pushing Auto-regressive Models for 3D Shape Generation at Capacity and Scalability [118.26563926533517]
  自己回帰モデルでは,格子空間における関節分布をモデル化することにより,2次元画像生成において顕著な結果が得られた。 自動回帰モデルを3次元領域に拡張し,キャパシティとスケーラビリティを同時に向上することにより,3次元形状生成の強力な能力を求める。
  論文  参考訳（メタデータ） (2024-02-19T15:33:09Z)
• Make-A-Shape: a Ten-Million-scale 3D Shape Model [52.701745578415796]
  本稿では,大規模な効率的なトレーニングを目的とした新しい3次元生成モデルであるMake-A-Shapeを紹介する。 まずウェーブレットツリー表現を革新し、サブバンド係数フィルタリングスキームを定式化して形状をコンパクトに符号化する。 我々は、粗いウェーブレット係数の生成を効果的に学習するために、我々のモデルを訓練するためのサブバンド適応型トレーニング戦略を導出する。
  論文  参考訳（メタデータ） (2024-01-20T00:21:58Z)
• Learning Versatile 3D Shape Generation with Improved AR Models [91.87115744375052]
  自己回帰(AR)モデルはグリッド空間の関節分布をモデル化することにより2次元画像生成において印象的な結果を得た。 本稿では3次元形状生成のための改良された自己回帰モデル(ImAM)を提案する。
  論文  参考訳（メタデータ） (2023-03-26T12:03:18Z)
• NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions [97.27105725738016]
  GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。 提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
  論文  参考訳（メタデータ） (2023-03-22T18:59:48Z)
• 3D Generative Model Latent Disentanglement via Local Eigenprojection [13.713373496487012]
  本稿では,3次元頭部および体メッシュの異なるニューラルネットワークに基づく生成モデルに対するスペクトル幾何学に基づく新しい損失関数を提案する。 実験結果から,我々の局所固有射影不整形(LED)モデルでは,最先端技術に対する不整形が改善されていることがわかった。
  論文  参考訳（メタデータ） (2023-02-24T18:19:49Z)
• AE-NeRF: Auto-Encoding Neural Radiance Fields for 3D-Aware Object Manipulation [24.65896451569795]
  我々は,AE-NeRF(Auto-Aware Neural Radiance Fields)と呼ばれる3次元物体操作のための新しいフレームワークを提案する。 我々のモデルは自動エンコーダアーキテクチャで定式化され、画像から3次元形状、外観、カメラポーズなどの不整形3D属性を抽出する。 歪み生成ニューラルレージアンスフィールド(NeRF)による特性から高品質な画像が描画される
  論文  参考訳（メタデータ） (2022-04-28T11:50:18Z)
• Text to Mesh Without 3D Supervision Using Limit Subdivision [13.358081015190255]
  本稿では,ターゲットテキストプロンプトのみを用いた3次元モデルのゼロショット生成手法を提案する。 入力テキストプロンプトを3Dモデルの異なるレンダリング画像と比較する、事前訓練されたCLIPモデルに依存しています。
  論文  参考訳（メタデータ） (2022-03-24T20:36:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。