論文の概要: ZIGNeRF: Zero-shot 3D Scene Representation with Invertible Generative
Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2306.02741v1
- Date: Mon, 5 Jun 2023 09:41:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 15:51:23.638826
- Title: ZIGNeRF: Zero-shot 3D Scene Representation with Invertible Generative
Neural Radiance Fields
- Title（参考訳）: ZIGNeRF: 可逆生成ニューラルラジアンス場を用いたゼロショット3次元シーン表現
- Authors: Kanghyeok Ko, Minhyeok Lee
- Abstract要約: ZIGNeRFは、ゼロショット生成アドリアスネットワーク(GAN)を逆さまに実行し、1つのドメイン外画像から多視点画像を生成する革新的なモデルである。
ZIGNeRFは、オブジェクトを背景から切り離し、360度回転や深さ、水平変換といった3D操作を実行することができる。
- 参考スコア（独自算出の注目度）: 2.458437232470188
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative Neural Radiance Fields (NeRFs) have demonstrated remarkable
proficiency in synthesizing multi-view images by learning the distribution of a
set of unposed images. Despite the aptitude of existing generative NeRFs in
generating 3D-consistent high-quality random samples within data distribution,
the creation of a 3D representation of a singular input image remains a
formidable challenge. In this manuscript, we introduce ZIGNeRF, an innovative
model that executes zero-shot Generative Adversarial Network (GAN) inversion
for the generation of multi-view images from a single out-of-domain image. The
model is underpinned by a novel inverter that maps out-of-domain images into
the latent code of the generator manifold. Notably, ZIGNeRF is capable of
disentangling the object from the background and executing 3D operations such
as 360-degree rotation or depth and horizontal translation. The efficacy of our
model is validated using multiple real-image datasets: Cats, AFHQ, CelebA,
CelebA-HQ, and CompCars.
- Abstract（参考訳）: 生成型ニューラルラジアンス場(NeRF)は,非ポーズ画像の分布を学習することにより,多視点画像の合成に顕著な熟練性を示した。
データ分布内における3D一貫性の高い高品質なランダムサンプルの生成における既存の生成型NeRFの適性にもかかわらず、特異な入力画像の3D表現の作成は、依然として困難な課題である。
本稿では,ZIGNeRFについて紹介する。ZIGNeRFは,ゼロショット生成逆数ネットワーク(GAN)のインバージョンを,単一領域外画像から多視点画像を生成する革新的なモデルである。
このモデルは、ドメイン外の画像をジェネレータ多様体の潜在コードにマッピングする新しいインバータによって支えられている。
特にZIGNeRFは、オブジェクトを背景から切り離し、360度回転や深度、水平変換といった3D操作を実行することができる。
モデルの有効性は、キャット、AFHQ、CelebA、CelebA-HQ、CompCarsという複数の実画像データセットを用いて検証される。
関連論文リスト
- GaussianDiffusion: 3D Gaussian Splatting for Denoising Diffusion
Probabilistic Models with Structured Noise [0.0]
本稿では,ガウススプラッティングに基づく3次元コンテンツ生成フレームワークについて紹介する。
我々は3次元ガウススプラッティングによって生成された摂動画像にマルチビューノイズ分布を用いる。
我々の知る限り,本手法は3次元コンテンツ生成プロセスの全領域にわたるガウススプラッティングの包括的利用が初めてである。
論文 参考訳（メタデータ） (2023-11-19T04:26:16Z) - Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and
Reconstruction [77.69363640021503]
3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。
本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
論文 参考訳（メタデータ） (2023-04-13T17:59:01Z) - GVP: Generative Volumetric Primitives [76.95231302205235]
本稿では,512解像度画像をリアルタイムにサンプリング・レンダリングできる最初の純3次元生成モデルである生成ボリュームプリミティブ(GVP)を提案する。
GVPは、複数のプリミティブとその空間情報を共同でモデル化し、どちらも2D畳み込みネットワークを介して効率的に生成することができる。
いくつかのデータセットの実験は、最先端技術よりも優れた効率性とGVPの3次元一貫性を示す。
論文 参考訳（メタデータ） (2023-03-31T16:50:23Z) - NeRF-GAN Distillation for Efficient 3D-Aware Generation with
Convolutions [97.27105725738016]
GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。
提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
論文 参考訳（メタデータ） (2023-03-22T18:59:48Z) - NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from
3D-aware Diffusion [107.67277084886929]
単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。
そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。
さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-20T17:12:00Z) - NeRFInvertor: High Fidelity NeRF-GAN Inversion for Single-shot Real
Image Animation [66.0838349951456]
Nerfベースの生成モデルは、一貫した3次元幾何で高品質な画像を生成する能力を示している。
本研究では,このNeRF-GANモデルを外科的に微調整し,実物体の高忠実度アニメーションを単一画像のみで実現するための普遍的手法を提案する。
論文 参考訳（メタデータ） (2022-11-30T18:36:45Z) - Pix2NeRF: Unsupervised Conditional $\pi$-GAN for Single Image to Neural
Radiance Fields Translation [93.77693306391059]
本研究では,物体のニューラルレージアンス場(NeRF)を生成するパイプラインを提案する。
本手法は,無条件3D画像合成のための生成モデルである$pi$-GANに基づいている。
論文 参考訳（メタデータ） (2022-02-26T15:28:05Z) - GRAM: Generative Radiance Manifolds for 3D-Aware Image Generation [25.20217335614512]
3D対応画像生成モデリングは、カメラポーズを明示的に制御可能な3D一貫性画像を生成することを目的としている。
近年の研究では、非構造2次元画像上でのニューラル放射場(NeRF)ジェネレータのトレーニングによる有望な結果が示されている。
論文 参考訳（メタデータ） (2021-12-16T13:25:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。