論文の概要: MultiPlaneNeRF: Neural Radiance Field with Non-Trainable Representation
- arxiv url: http://arxiv.org/abs/2305.10579v2
- Date: Tue, 28 Nov 2023 20:34:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 03:47:35.090739
- Title: MultiPlaneNeRF: Neural Radiance Field with Non-Trainable Representation
- Title(参考訳): 非トレーサブル表現を用いたマルチプランネ波ニューラル放射場
- Authors: Dominik Zimny, Artur Kasymov, Adam Kania, Jacek Tabor, Maciej
Zi\k{e}ba, Przemys{\l}aw Spurek
- Abstract要約: NeRFは2D画像から3Dオブジェクトを効率的に表現する人気モデルである。
上記の問題を同時に解くモデルとして,MultiPlaneNeRFを提案する。
- 参考スコア(独自算出の注目度): 11.049528513775968
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: NeRF is a popular model that efficiently represents 3D objects from 2D
images. However, vanilla NeRF has some important limitations. NeRF must be
trained on each object separately. The training time is long since we encode
the object's shape and color in neural network weights. Moreover, NeRF does not
generalize well to unseen data. In this paper, we present MultiPlaneNeRF -- a
model that simultaneously solves the above problems. Our model works directly
on 2D images. We project 3D points on 2D images to produce non-trainable
representations. The projection step is not parametrized and a very shallow
decoder can efficiently process the representation. Furthermore, we can train
MultiPlaneNeRF on a large data set and force our implicit decoder to generalize
across many objects. Consequently, we can only replace the 2D images (without
additional training) to produce a NeRF representation of the new object. In the
experimental section, we demonstrate that MultiPlaneNeRF achieves results
comparable to state-of-the-art models for synthesizing new views and has
generalization properties. Additionally, MultiPlane decoder can be used as a
component in large generative models like GANs.
- Abstract(参考訳): NeRFは2D画像から3Dオブジェクトを効率的に表現する人気モデルである。
しかしながら、バニラNeRFにはいくつかの重要な制限がある。
NeRFは個々のオブジェクトに対して個別にトレーニングされなければならない。
トレーニング時間は、ニューラルネットワークの重みで物体の形状と色を符号化してから長い。
さらに、NeRFは見えないデータに対してうまく一般化しない。
本稿では,上記の問題を同時に解くモデルであるMultiPlaneNeRFを提案する。
私たちのモデルは2D画像を直接処理します。
2次元画像に3dポイントを投影し,訓練不能な表現を生成する。
投影ステップはパラメータ化されず、非常に浅いデコーダが効率よく表現を処理できる。
さらに、大きなデータセット上でMultiPlaneNeRFをトレーニングし、暗黙のデコーダを多くのオブジェクトに一般化させます。
これにより、新しいオブジェクトのNeRF表現を生成するために、2Dイメージを(追加のトレーニングなしで)置き換えることができる。
実験セクションでは、MultiPlaneNeRFが、新しいビューを合成するための最先端モデルに匹敵する結果を達成し、一般化特性を有することを示す。
さらに、MultiPlaneデコーダは、GANのような大規模な生成モデルのコンポーネントとして使用できる。
関連論文リスト
- HyperPlanes: Hypernetwork Approach to Rapid NeRF Adaptation [4.53411151619456]
本稿では,推論中に勾配最適化を必要としないハイパーネットワークのパラダイムに基づく数ショットの学習手法を提案する。
我々は,少数の画像から高品質な3Dオブジェクト表現を単一ステップで生成する効率的な方法を開発した。
論文 参考訳(メタデータ) (2024-02-02T16:10:29Z) - Registering Neural Radiance Fields as 3D Density Images [55.64859832225061]
我々は,様々な場面でトレーニングやテストが可能な,普遍的な事前学習型ニューラルネットワークを提案する。
我々は,グローバルアプローチとして,NeRFモデルを効果的に登録できることを実証した。
論文 参考訳(メタデータ) (2023-05-22T09:08:46Z) - Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and
Reconstruction [77.69363640021503]
3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。
本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
論文 参考訳(メタデータ) (2023-04-13T17:59:01Z) - Instance Neural Radiance Field [62.152611795824185]
本稿では,最初の学習ベースNeRF3Dインスタンスセグメンテーションパイプラインについて述べる。
我々は、NeRFのサンプルボリューム特徴に基づいて、3Dプロポーザルベースのマスク予測ネットワークを採用する。
また、本手法は、そのような結果を純粋推論で最初に達成した手法の一つである。
論文 参考訳(メタデータ) (2023-04-10T05:49:24Z) - HoloDiffusion: Training a 3D Diffusion Model using 2D Images [71.1144397510333]
我々は,2次元画像のみを監督のために配置した,エンドツーエンドでトレーニング可能な新しい拡散装置を導入する。
我々の拡散モデルはスケーラブルで、頑健に訓練されており、既存の3次元生成モデルへのアプローチに対して、サンプルの品質と忠実さの点で競争力があることを示す。
論文 参考訳(メタデータ) (2023-03-29T07:35:56Z) - FeatureNeRF: Learning Generalizable NeRFs by Distilling Foundation
Models [21.523836478458524]
一般化可能なNeRFに関する最近の研究は、単一または少数の画像からの新規なビュー合成に関する有望な結果を示している。
本研究では,事前学習された視覚モデルを蒸留することにより,一般化可能なNeRFを学習するためのFeatureNeRFという新しいフレームワークを提案する。
一般化可能な3次元特徴抽出器としてのFeatureNeRFの有効性を実証した。
論文 参考訳(メタデータ) (2023-03-22T17:57:01Z) - HyperNeRFGAN: Hypernetwork approach to 3D NeRF GAN [3.479254848034425]
我々は、ハイパーネットワークのパラダイムを用いて、NeRFで表現された3Dオブジェクトを生成するHyperNeRFGANという生成モデルを提案する。
アーキテクチャは2D画像を生成するが、3D対応のNeRF表現を使用し、モデルに正しい3Dオブジェクトを生成するように強制する。
論文 参考訳(メタデータ) (2023-01-27T10:21:18Z) - ProbNeRF: Uncertainty-Aware Inference of 3D Shapes from 2D Images [19.423108873761972]
条件付きニューラルレイディアンス場(NeRF)モデルは、単一の2次元画像から3次元モデルの良点推定を推測することができる。
ProbNeRFは変分オートエンコーダとして訓練されているが、テスト時にはハミルトンモンテカルロ(HMC)を用いて推論を行う。
ProbNeRFの成功の鍵は、 (i) 決定論的レンダリングスキーム、 (ii) 焼鈍HMC戦略、 (iii) ハイパーネットワークベースのデコーダアーキテクチャ、 (iv) 完全なNeRF重みに対して推論を行うことである。
論文 参考訳(メタデータ) (2022-10-27T22:35:24Z) - PeRFception: Perception using Radiance Fields [72.99583614735545]
私たちは、PeRFceptionと呼ばれる知覚タスクのための、最初の大規模な暗黙的表現データセットを作成します。
元のデータセットからかなりのメモリ圧縮率 (96.4%) を示し、2D情報と3D情報の両方を統一形式で格納している。
この暗黙の形式を直接入力する分類とセグメンテーションモデルを構築し、画像の背景に過度に収まらないよう、新しい拡張手法を提案する。
論文 参考訳(メタデータ) (2022-08-24T13:32:46Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-03-29T17:59:15Z) - 3D-aware Image Synthesis via Learning Structural and Textural
Representations [39.681030539374994]
生成モデルを作成することは、2D画像空間と3D物理世界を橋渡しするが、まだ難しい。
近年、GAN(Generative Adversarial Network)とNeRF(Neural Radiance Field)という3次元座標をピクセル値にマッピングする手法が試みられている。
本稿では,構造表現とテクスチャ表現を明示的に学習することで,高忠実度3次元画像合成のための新しいフレームワーク,VolumeGANを提案する。
論文 参考訳(メタデータ) (2021-12-20T18:59:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。