論文の概要: Class-Continuous Conditional Generative Neural Radiance Field
- arxiv url: http://arxiv.org/abs/2301.00950v3
- Date: Tue, 9 Jan 2024 06:54:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 20:53:59.656710
- Title: Class-Continuous Conditional Generative Neural Radiance Field
- Title（参考訳）: クラス連続条件生成ニューラル放射場
- Authors: Jiwook Kim and Minhyeok Lee
- Abstract要約: 条件付き3D一貫性画像の合成が可能なクラス連続生成NeRF(textC3$G-NeRF)という新しいモデルを提案する。
本モデルでは,詳細な情報と条件付き特徴操作のスムーズな3次元整合性を示す。
- 参考スコア（独自算出の注目度）: 4.036530158875673
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The 3D-aware image synthesis focuses on conserving spatial consistency
besides generating high-resolution images with fine details. Recently, Neural
Radiance Field (NeRF) has been introduced for synthesizing novel views with low
computational cost and superior performance. While several works investigate a
generative NeRF and show remarkable achievement, they cannot handle conditional
and continuous feature manipulation in the generation procedure. In this work,
we introduce a novel model, called Class-Continuous Conditional Generative NeRF
($\text{C}^{3}$G-NeRF), which can synthesize conditionally manipulated
photorealistic 3D-consistent images by projecting conditional features to the
generator and the discriminator. The proposed $\text{C}^{3}$G-NeRF is evaluated
with three image datasets, AFHQ, CelebA, and Cars. As a result, our model shows
strong 3D-consistency with fine details and smooth interpolation in conditional
feature manipulation. For instance, $\text{C}^{3}$G-NeRF exhibits a Fr\'echet
Inception Distance (FID) of 7.64 in 3D-aware face image synthesis with a
$\text{128}^{2}$ resolution. Additionally, we provide FIDs of generated
3D-aware images of each class of the datasets as it is possible to synthesize
class-conditional images with $\text{C}^{3}$G-NeRF.
- Abstract（参考訳）: 3D対応画像合成は、細部で高解像度の画像を生成することに加えて、空間の一貫性を維持することに焦点を当てている。
近年,計算コストが低く,性能も優れた新しいビューを合成するためにNeRF(Neural Radiance Field)が導入されている。
いくつかの研究が生成性NeRFを調査し、顕著な成果を示したが、生成過程における条件付きおよび連続的な特徴操作は処理できない。
本研究では, 条件付き3次元連続画像の合成を, 条件付き特徴を生成器と識別器に投影することで行う, クラス連続条件生成型NeRF ("\text{C}^{3}$G-NeRF") という新しいモデルを提案する。
提案した$\text{C}^{3}$G-NeRFは、AFHQ、CelebA、Carsの3つの画像データセットで評価される。
その結果,条件付き特徴操作における細部とスムーズな補間による3次元整合性を示す。
例えば、$\text{C}^{3}$G-NeRFは、$\text{128}^{2}$の解像度を持つ3D認識顔画像合成において、7.64のFr\echet Inception Distance (FID)を示す。
さらに、データセットの各クラスの生成された3D対応画像のFIDを提供し、$\text{C}^{3}$G-NeRFでクラス条件画像の合成を可能にする。
関連論文リスト
- ZIGNeRF: Zero-shot 3D Scene Representation with Invertible Generative
Neural Radiance Fields [2.458437232470188]
ZIGNeRFは、ゼロショット生成アドリアスネットワーク(GAN)を逆さまに実行し、1つのドメイン外画像から多視点画像を生成する革新的なモデルである。
ZIGNeRFは、オブジェクトを背景から切り離し、360度回転や深さ、水平変換といった3D操作を実行することができる。
論文 参考訳（メタデータ） (2023-06-05T09:41:51Z) - NeRF-GAN Distillation for Efficient 3D-Aware Generation with
Convolutions [97.27105725738016]
GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。
提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
論文 参考訳（メタデータ） (2023-03-22T18:59:48Z) - NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from
3D-aware Diffusion [107.67277084886929]
単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。
そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。
さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-20T17:12:00Z) - NeRFInvertor: High Fidelity NeRF-GAN Inversion for Single-shot Real
Image Animation [66.0838349951456]
Nerfベースの生成モデルは、一貫した3次元幾何で高品質な画像を生成する能力を示している。
本研究では,このNeRF-GANモデルを外科的に微調整し,実物体の高忠実度アニメーションを単一画像のみで実現するための普遍的手法を提案する。
論文 参考訳（メタデータ） (2022-11-30T18:36:45Z) - Latent-NeRF for Shape-Guided Generation of 3D Shapes and Textures [72.44361273600207]
我々は, スコア蒸留を, 一般に利用可能な, 計算効率の良い遅延拡散モデルに適用する。
潜在拡散モデルは、事前訓練された自己エンコーダのコンパクト潜在空間に全拡散過程を適用する。
これらの結果から, 3次元メッシュに直接, 潜在スコア蒸留を適用できることが示唆された。
論文 参考訳（メタデータ） (2022-11-14T18:25:24Z) - Pix2NeRF: Unsupervised Conditional $\pi$-GAN for Single Image to Neural
Radiance Fields Translation [93.77693306391059]
本研究では,物体のニューラルレージアンス場(NeRF)を生成するパイプラインを提案する。
本手法は,無条件3D画像合成のための生成モデルである$pi$-GANに基づいている。
論文 参考訳（メタデータ） (2022-02-26T15:28:05Z) - 3D-aware Image Synthesis via Learning Structural and Textural
Representations [39.681030539374994]
生成モデルを作成することは、2D画像空間と3D物理世界を橋渡しするが、まだ難しい。
近年、GAN(Generative Adversarial Network)とNeRF(Neural Radiance Field)という3次元座標をピクセル値にマッピングする手法が試みられている。
本稿では,構造表現とテクスチャ表現を明示的に学習することで,高忠実度3次元画像合成のための新しいフレームワーク,VolumeGANを提案する。
論文 参考訳（メタデータ） (2021-12-20T18:59:40Z) - CIPS-3D: A 3D-Aware Generator of GANs Based on Conditionally-Independent
Pixel Synthesis [148.4104739574094]
本稿では,浅いNeRFネットワークと深い暗黙のニューラル表現ネットワークからなるスタイルベースの3D対応ジェネレータであるCIPS-3Dを提案する。
ジェネレータは、空間畳み込みやアップサンプリング操作をすることなく、各画素値を独立して合成する。
FFHQの256times256$解像度で、画像のFIDが6.97で3D対応画像合成の新記録を樹立した。
論文 参考訳（メタデータ） (2021-10-19T08:02:16Z) - pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware
Image Synthesis [45.51447644809714]
高品質な3D画像合成のための新しい生成モデルである周期的インプリシット生成適応ネットワーク(pi$-GAN または pi-GAN)を提案する。
提案手法は,複数の実・合成データセットを用いた3次元認識画像合成のための最先端結果を得る。
論文 参考訳（メタデータ） (2020-12-02T01:57:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。