論文の概要: MRVM-NeRF: Mask-Based Pretraining for Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2304.04962v1
- Date: Tue, 11 Apr 2023 04:12:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-12 16:17:36.343747
- Title: MRVM-NeRF: Mask-Based Pretraining for Neural Radiance Fields
- Title(参考訳): MRVM-NeRF: マスクによるニューラルラジアンス場の事前学習
- Authors: Ganlin Yang, Guoqiang Wei, Zhizheng Zhang, Yan Lu, Dong Liu
- Abstract要約: 一般化可能なニューラルラジアンス場(NeRF)のためのマスクベース光線とビューモデリング法を提案する。
多視点から得られる部分情報を捨てることで、光線に沿った試料点の割合を微調整でランダムにマスキングする。
このように、事前訓練中に学習した3Dシーンの事前知識は、微調整後の新しいシナリオをより一般化するのに役立ちます。
- 参考スコア(独自算出の注目度): 31.837333024969546
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most Neural Radiance Fields (NeRFs) have poor generalization ability,
limiting their application when representing multiple scenes by a single model.
To ameliorate this problem, existing methods simply condition NeRF models on
image features, lacking the global understanding and modeling of the entire 3D
scene. Inspired by the significant success of mask-based modeling in other
research fields, we propose a masked ray and view modeling method for
generalizable NeRF (MRVM-NeRF), the first attempt to incorporate mask-based
pretraining into 3D implicit representations. Specifically, considering that
the core of NeRFs lies in modeling 3D representations along the rays and across
the views, we randomly mask a proportion of sampled points along the ray at
fine stage by discarding partial information obtained from multi-viewpoints,
targeting at predicting the corresponding features produced in the coarse
branch. In this way, the learned prior knowledge of 3D scenes during
pretraining helps the model generalize better to novel scenarios after
finetuning. Extensive experiments demonstrate the superiority of our proposed
MRVM-NeRF under various synthetic and real-world settings, both qualitatively
and quantitatively. Our empirical studies reveal the effectiveness of our
proposed innovative MRVM which is specifically designed for NeRF models.
- Abstract(参考訳): ほとんどのneural radiance field (nerfs) は一般化能力に乏しく、単一のモデルで複数のシーンを表現する場合のアプリケーションを制限する。
この問題を改善するため、既存の手法では、画像の特徴に対してNeRFモデルを単純に条件付けし、3Dシーン全体のグローバルな理解とモデリングを欠いている。
マスクベースモデリングの他の研究分野における有意な成功に触発されて,mrvm-nerf (generalizable nerf) のマスクレイおよびビューモデリング手法を提案し,マスクベースプリトレーニングを3次元暗黙表現に組み込む最初の試みである。
具体的には、NeRFのコアは、光線に沿った3次元表現をモデル化し、視野を横切ることで、多視点から得られる部分情報を排除し、粗い分岐で生成された対応する特徴を予測することで、光線に沿ったサンプル点の割合をランダムにマスクする。
このように、事前訓練中に学習した3Dシーンの事前知識は、微調整後の新しいシナリオへの一般化に役立つ。
MRVM-NeRFは,定性的かつ定量的に,様々な合成および実世界の環境下での優位性を示す。
実験により,NeRFモデルに特化して設計された革新的MRVMの有効性が明らかになった。
関連論文リスト
- 3D Visibility-aware Generalizable Neural Radiance Fields for Interacting
Hands [51.305421495638434]
ニューラル放射場(NeRF)は、シーン、オブジェクト、人間の3D表現を約束する。
本稿では,手動操作のための一般化可能な視認可能なNeRFフレームワークを提案する。
Interhand2.6Mデータセットの実験により、提案したVA-NeRFは従来のNeRFよりも著しく優れていることが示された。
論文 参考訳(メタデータ) (2024-01-02T00:42:06Z) - Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and
Reconstruction [77.69363640021503]
3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。
本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
論文 参考訳(メタデータ) (2023-04-13T17:59:01Z) - Clean-NeRF: Reformulating NeRF to account for View-Dependent
Observations [67.54358911994967]
本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。
clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
論文 参考訳(メタデータ) (2023-03-26T12:24:31Z) - NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from
3D-aware Diffusion [107.67277084886929]
単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。
そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。
さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-20T17:12:00Z) - CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural
Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。
これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。
さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文 参考訳(メタデータ) (2022-09-02T17:44:50Z) - UNISURF: Unifying Neural Implicit Surfaces and Radiance Fields for
Multi-View Reconstruction [61.17219252031391]
ニューラル暗黙的3D表現を用いた多視点画像から表面を再構築する新しい手法を提案する。
我々の重要な洞察は、暗黙の曲面モデルと放射場を統一的に定式化し、表面および体積のレンダリングを可能にすることである。
実験により, マスクを必要とせず, idrと同等の性能を保ちつつ, 再構成品質でnrfを上回った。
論文 参考訳(メタデータ) (2021-04-20T15:59:38Z) - NeRF-VAE: A Geometry Aware 3D Scene Generative Model [14.593550382914767]
本研究では,NeRFによる幾何学的構造を組み込んだ3次元シーン生成モデルNeRF-VAEを提案する。
NeRF-VAEの明示的な3Dレンダリングプロセスは、以前の生成モデルと畳み込みベースのレンダリングとを対比する。
トレーニングが完了すると、NeRF-VAEは以前に見つからなかった3D環境から幾何学的に一貫性のあるシーンを推測、描画できることを示す。
論文 参考訳(メタデータ) (2021-04-01T16:16:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。