論文の概要: HyperNeRFGAN: Hypernetwork approach to 3D NeRF GAN
- arxiv url: http://arxiv.org/abs/2301.11631v1
- Date: Fri, 27 Jan 2023 10:21:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-30 15:54:56.669217
- Title: HyperNeRFGAN: Hypernetwork approach to 3D NeRF GAN
- Title(参考訳): HyperNeRFGAN:3D NeRF GANへのハイパーネットワークアプローチ
- Authors: Adam Kania, Artur Kasymov, Maciej Zi\k{e}ba, Przemys{\l}aw Spurek
- Abstract要約: 我々は、ハイパーネットワークのパラダイムを用いて、NeRFで表現された3Dオブジェクトを生成するHyperNeRFGANという生成モデルを提案する。
アーキテクチャは2D画像を生成するが、3D対応のNeRF表現を使用し、モデルに正しい3Dオブジェクトを生成するように強制する。
- 参考スコア(独自算出の注目度): 3.479254848034425
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, generative models for 3D objects are gaining much popularity in VR
and augmented reality applications. Training such models using standard 3D
representations, like voxels or point clouds, is challenging and requires
complex tools for proper color rendering. In order to overcome this limitation,
Neural Radiance Fields (NeRFs) offer a state-of-the-art quality in synthesizing
novel views of complex 3D scenes from a small subset of 2D images.
In the paper, we propose a generative model called HyperNeRFGAN, which uses
hypernetworks paradigm to produce 3D objects represented by NeRF. Our GAN
architecture leverages a hypernetwork paradigm to transfer gaussian noise into
weights of NeRF model. The model is further used to render 2D novel views, and
a classical 2D discriminator is utilized for training the entire GAN-based
structure. Our architecture produces 2D images, but we use 3D-aware NeRF
representation, which forces the model to produce correct 3D objects. The
advantage of the model over existing approaches is that it produces a dedicated
NeRF representation for the object without sharing some global parameters of
the rendering component. We show the superiority of our approach compared to
reference baselines on three challenging datasets from various domains.
- Abstract(参考訳): 近年、vrや拡張現実アプリケーションで3dオブジェクトの生成モデルが人気を集めている。
voxelsやpoint cloudsといった標準的な3d表現を使ったトレーニングは困難であり、適切なカラーレンダリングには複雑なツールが必要である。
この限界を克服するために、neural radiance fields(nerfs)は、2d画像の小さなサブセットから複雑な3dシーンの新しいビューを合成する最先端の品質を提供する。
本稿では,ハイパーネットワークのパラダイムを用いてNeRFで表現された3次元オブジェクトを生成するHyperNeRFGANという生成モデルを提案する。
我々のGANアーキテクチャはハイパーネットワークのパラダイムを利用してガウスノイズをNeRFモデルの重みに転送する。
モデルはさらに2Dノベルビューのレンダリングに使われ、古典的な2D識別器がGANベースの構造全体のトレーニングに使用される。
アーキテクチャは2D画像を生成するが、3D対応のNeRF表現を用いてモデルに正しい3Dオブジェクトを生成する。
既存のアプローチよりもモデルの利点は、レンダリングコンポーネントのグローバルパラメータを共有することなく、オブジェクト専用のNeRF表現を生成することである。
各種ドメインからの3つの挑戦的データセットに対する基準ベースラインと比較して,本手法の優位性を示す。
関連論文リスト
- GO-NeRF: Generating Virtual Objects in Neural Radiance Fields [75.13534508391852]
GO-NeRFは、既存のNeRF内の高品質で調和した3Dオブジェクト生成にシーンコンテキストを利用することができる。
本手法では,生成した3次元オブジェクトをシームレスにシーンに合成する構成的レンダリング形式を用いる。
論文 参考訳(メタデータ) (2024-01-11T08:58:13Z) - PonderV2: Pave the Way for 3D Foundation Model with A Universal
Pre-training Paradigm [114.47216525866435]
本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。
PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
論文 参考訳(メタデータ) (2023-10-12T17:59:57Z) - MultiPlaneNeRF: Neural Radiance Field with Non-Trainable Representation [11.049528513775968]
NeRFは2D画像から3Dオブジェクトを効率的に表現する人気モデルである。
上記の問題を同時に解くモデルとして,MultiPlaneNeRFを提案する。
論文 参考訳(メタデータ) (2023-05-17T21:27:27Z) - NeRF-GAN Distillation for Efficient 3D-Aware Generation with
Convolutions [97.27105725738016]
GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。
提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
論文 参考訳(メタデータ) (2023-03-22T18:59:48Z) - FeatureNeRF: Learning Generalizable NeRFs by Distilling Foundation
Models [21.523836478458524]
一般化可能なNeRFに関する最近の研究は、単一または少数の画像からの新規なビュー合成に関する有望な結果を示している。
本研究では,事前学習された視覚モデルを蒸留することにより,一般化可能なNeRFを学習するためのFeatureNeRFという新しいフレームワークを提案する。
一般化可能な3次元特徴抽出器としてのFeatureNeRFの有効性を実証した。
論文 参考訳(メタデータ) (2023-03-22T17:57:01Z) - NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from
3D-aware Diffusion [107.67277084886929]
単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。
そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。
さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-20T17:12:00Z) - NeRFInvertor: High Fidelity NeRF-GAN Inversion for Single-shot Real
Image Animation [66.0838349951456]
Nerfベースの生成モデルは、一貫した3次元幾何で高品質な画像を生成する能力を示している。
本研究では,このNeRF-GANモデルを外科的に微調整し,実物体の高忠実度アニメーションを単一画像のみで実現するための普遍的手法を提案する。
論文 参考訳(メタデータ) (2022-11-30T18:36:45Z) - 3D-aware Image Synthesis via Learning Structural and Textural
Representations [39.681030539374994]
生成モデルを作成することは、2D画像空間と3D物理世界を橋渡しするが、まだ難しい。
近年、GAN(Generative Adversarial Network)とNeRF(Neural Radiance Field)という3次元座標をピクセル値にマッピングする手法が試みられている。
本稿では,構造表現とテクスチャ表現を明示的に学習することで,高忠実度3次元画像合成のための新しいフレームワーク,VolumeGANを提案する。
論文 参考訳(メタデータ) (2021-12-20T18:59:40Z) - StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image
Synthesis [92.25145204543904]
StyleNeRFは高解像度画像合成のための3次元認識型生成モデルである。
ニューラル放射場(NeRF)をスタイルベースジェネレータに統合する。
高品質な3D一貫性を維持しながら、対話的な速度で高解像度画像を合成することができる。
論文 参考訳(メタデータ) (2021-10-18T02:37:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。