論文の概要: MultiPlaneNeRF: Neural Radiance Field with Non-Trainable Representation

• arxiv url: http://arxiv.org/abs/2305.10579v1
• Date: Wed, 17 May 2023 21:27:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 17:59:08.927014
• Title: MultiPlaneNeRF: Neural Radiance Field with Non-Trainable Representation
• Title（参考訳）: 非トレーサブル表現を用いたマルチプランネ波ニューラル放射場
• Authors: Dominik Zimny, Jacek Tabor, Maciej Zi\k{e}ba, Przemys{\l}aw Spurek
• Abstract要約: NeRFは2D画像から3Dオブジェクトを効率的に表現する人気モデルである。 上記の問題をすべて同時に解決する最初のモデルであるMultiPlaneNeRFを提案する。
• 参考スコア（独自算出の注目度）: 9.856341186845402
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: NeRF is a popular model that efficiently represents 3D objects from 2D images. However, vanilla NeRF has a few important limitations. NeRF must be trained on each object separately. The training time is long since we encode the object's shape and color in neural network weights. Moreover, NeRF does not generalize well to unseen data. In this paper, we present MultiPlaneNeRF -- a first model that simultaneously solves all the above problems. Our model works directly on 2D images. We project 3D points on 2D images to produce non-trainable representations. The projection step is not parametrized, and a very shallow decoder can efficiently process the representation. Using existing images as part of NeRF can significantly reduce the number of parameters since we train only a small implicit decoder. Furthermore, we can train MultiPlaneNeRF on a large data set and force our implicit decoder to generalize across many objects. Consequently, we can only replace the 2D images (without additional training) to produce a NeRF representation of the new object. In the experimental section, we demonstrate that MultiPlaneNeRF achieves comparable results to state-of-the-art models for synthesizing new views and has generalization properties.
• Abstract（参考訳）: NeRFは2D画像から3Dオブジェクトを効率的に表現する人気モデルである。 しかしながら、バニラNeRFにはいくつかの重要な制限がある。 NeRFは個々のオブジェクトに対して個別にトレーニングされなければならない。 トレーニング時間は、ニューラルネットワークの重みで物体の形状と色を符号化してから長い。 さらに、NeRFは見えないデータに対してうまく一般化しない。 本稿では,上記の問題をすべて同時に解決する最初のモデルであるMultiPlaneNeRFを提案する。 私たちのモデルは2D画像を直接処理します。 2次元画像に3dポイントを投影し,訓練不能な表現を生成する。 投影ステップはパラメータ化されず、非常に浅いデコーダが効率よく表現を処理できる。 NeRFの一部として既存のイメージを使用することで、暗黙のデコーダのみをトレーニングするため、パラメータの数を大幅に削減できます。 さらに、大きなデータセット上でMultiPlaneNeRFをトレーニングし、暗黙のデコーダを多くのオブジェクトに一般化させます。 これにより、新しいオブジェクトのNeRF表現を生成するために、2Dイメージを(追加のトレーニングなしで)置き換えることができる。 実験では、MultiPlaneNeRFが、新しいビューを合成し、一般化特性を持つ最先端モデルに匹敵する結果が得られることを示した。

関連論文リスト

• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• LLaNA: Large Language and NeRF Assistant [17.774826745566784]
  我々は、NeRFキャプションなどの新しいタスクを実行することができる初の汎用NeRF言語アシスタントであるLLaNAを開発した。 我々は,人的介入を伴わないさまざまなNeRF言語タスクに対して,テキストアノテーションを用いたNeRFのデータセットを構築した。 その結果,NeRF重みの処理は,NeRFから2次元あるいは3次元の表現を抽出することに対して良好な効果が得られた。
  論文  参考訳（メタデータ） (2024-06-17T17:59:59Z)
• NeRF-MAE: Masked AutoEncoders for Self-Supervised 3D Representation Learning for Neural Radiance Fields [57.617972778377215]
  提案手法は,RGB画像から有効な3D表現を生成する方法を示す。 我々は、この表現を、提案した擬似RGBデータに基づいて、180万枚以上の画像で事前訓練する。 我々は,NeRFの自己教師型プレトレーニングであるNeRF-MAE(NeRF-MAE)を目覚ましいスケールで実施し,様々な3Dタスクの性能向上を実現した。
  論文  参考訳（メタデータ） (2024-04-01T17:59:55Z)
• Registering Neural Radiance Fields as 3D Density Images [55.64859832225061]
  我々は,様々な場面でトレーニングやテストが可能な,普遍的な事前学習型ニューラルネットワークを提案する。 我々は,グローバルアプローチとして,NeRFモデルを効果的に登録できることを実証した。
  論文  参考訳（メタデータ） (2023-05-22T09:08:46Z)
• Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction [77.69363640021503]
  3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。 本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
  論文  参考訳（メタデータ） (2023-04-13T17:59:01Z)
• Instance Neural Radiance Field [62.152611795824185]
  本稿では,最初の学習ベースNeRF3Dインスタンスセグメンテーションパイプラインについて述べる。 我々は、NeRFのサンプルボリューム特徴に基づいて、3Dプロポーザルベースのマスク予測ネットワークを採用する。 また、本手法は、そのような結果を純粋推論で最初に達成した手法の一つである。
  論文  参考訳（メタデータ） (2023-04-10T05:49:24Z)
• FeatureNeRF: Learning Generalizable NeRFs by Distilling Foundation Models [21.523836478458524]
  一般化可能なNeRFに関する最近の研究は、単一または少数の画像からの新規なビュー合成に関する有望な結果を示している。 本研究では,事前学習された視覚モデルを蒸留することにより,一般化可能なNeRFを学習するためのFeatureNeRFという新しいフレームワークを提案する。 一般化可能な3次元特徴抽出器としてのFeatureNeRFの有効性を実証した。
  論文  参考訳（メタデータ） (2023-03-22T17:57:01Z)
• ProbNeRF: Uncertainty-Aware Inference of 3D Shapes from 2D Images [19.423108873761972]
  条件付きニューラルレイディアンス場(NeRF)モデルは、単一の2次元画像から3次元モデルの良点推定を推測することができる。 ProbNeRFは変分オートエンコーダとして訓練されているが、テスト時にはハミルトンモンテカルロ(HMC)を用いて推論を行う。 ProbNeRFの成功の鍵は、 (i) 決定論的レンダリングスキーム、 (ii) 焼鈍HMC戦略、 (iii) ハイパーネットワークベースのデコーダアーキテクチャ、 (iv) 完全なNeRF重みに対して推論を行うことである。
  論文  参考訳（メタデータ） (2022-10-27T22:35:24Z)
• PeRFception: Perception using Radiance Fields [72.99583614735545]
  私たちは、PeRFceptionと呼ばれる知覚タスクのための、最初の大規模な暗黙的表現データセットを作成します。 元のデータセットからかなりのメモリ圧縮率 (96.4%) を示し、2D情報と3D情報の両方を統一形式で格納している。 この暗黙の形式を直接入力する分類とセグメンテーションモデルを構築し、画像の背景に過度に収まらないよう、新しい拡張手法を提案する。
  論文  参考訳（メタデータ） (2022-08-24T13:32:46Z)
• 3D-aware Image Synthesis via Learning Structural and Textural Representations [39.681030539374994]
  生成モデルを作成することは、2D画像空間と3D物理世界を橋渡しするが、まだ難しい。 近年、GAN(Generative Adversarial Network)とNeRF(Neural Radiance Field)という3次元座標をピクセル値にマッピングする手法が試みられている。 本稿では,構造表現とテクスチャ表現を明示的に学習することで,高忠実度3次元画像合成のための新しいフレームワーク,VolumeGANを提案する。
  論文  参考訳（メタデータ） (2021-12-20T18:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。