論文の概要: Mask-Based Modeling for Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2304.04962v2
• Date: Tue, 19 Mar 2024 08:28:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 01:30:29.903325
• Title: Mask-Based Modeling for Neural Radiance Fields
• Title（参考訳）: マスクを用いたニューラルラジアンス場のモデリング
• Authors: Ganlin Yang, Guoqiang Wei, Zhizheng Zhang, Yan Lu, Dong Liu,
• Abstract要約: 本研究では,マスクベースモデリングにより3次元暗黙表現学習を大幅に改善できることを明らかにする。 MRVM-NeRFは,各光線に沿った部分的マスキング特徴から,シーンの完全な表現を予測するための自己教師付き事前学習対象である。 この事前学習目標により、MRVM-NeRFは、幾何学的先行として異なる点とビュー間の相関をよりよく利用することができる。
• 参考スコア（独自算出の注目度）: 20.728248301818912
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most Neural Radiance Fields (NeRFs) exhibit limited generalization capabilities, which restrict their applicability in representing multiple scenes using a single model. To address this problem, existing generalizable NeRF methods simply condition the model on image features. These methods still struggle to learn precise global representations over diverse scenes since they lack an effective mechanism for interacting among different points and views. In this work, we unveil that 3D implicit representation learning can be significantly improved by mask-based modeling. Specifically, we propose masked ray and view modeling for generalizable NeRF (MRVM-NeRF), which is a self-supervised pretraining target to predict complete scene representations from partially masked features along each ray. With this pretraining target, MRVM-NeRF enables better use of correlations across different points and views as the geometry priors, which thereby strengthens the capability of capturing intricate details within the scenes and boosts the generalization capability across different scenes. Extensive experiments demonstrate the effectiveness of our proposed MRVM-NeRF on both synthetic and real-world datasets, qualitatively and quantitatively. Besides, we also conduct experiments to show the compatibility of our proposed method with various backbones and its superiority under few-shot cases.
• Abstract（参考訳）: ほとんどのニューラルラジアンス場(NeRF)は限定的な一般化能力を示し、単一のモデルを用いて複数のシーンを表現することの適用性を制限している。 この問題に対処するために、既存の一般化可能なNeRF法は単純に画像の特徴にモデルを条件付ける。 これらの手法は、異なる視点と視点の間で相互作用する効果的なメカニズムが欠如しているため、様々な場面で正確なグローバル表現を学ぶのに依然として苦労している。 本研究では,マスクベースモデリングにより3次元暗黙表現学習を大幅に改善できることを明らかにする。 具体的には,自己教師型事前学習対象である一般化可能なNeRF(MRVM-NeRF)に対するマスク付き光線とビューモデリングを提案し,各光線に沿った部分マスキング特徴からシーンの完全な表現を予測する。 この事前学習目標により、MRVM-NeRFは、異なる点とビュー間の相関関係をよりよく利用することができ、それによって、シーン内の複雑な詳細をキャプチャし、異なるシーン間での一般化能力を高めることができる。 提案したMRVM-NeRFが,合成および実世界の両方のデータセットに対して質的,定量的に有効であることを示す。 また,提案手法の種々のバックボーンとの整合性を示す実験も行った。

関連論文リスト

• Inter-slice Super-resolution of Magnetic Resonance Images by Pre-training and Self-supervised Fine-tuning [49.197385954021456]
  臨床実践では、2次元磁気共鳴(MR)シーケンスが広く採用されている。個々の2次元スライスを積み重ねて3次元ボリュームを形成できるが、比較的大きなスライスススペーシングは可視化とその後の解析タスクに課題をもたらす可能性がある。 スライス間隔を低減するため,ディープラーニングに基づく超解像技術が広く研究されている。 現在のほとんどのソリューションは、教師付きトレーニングのために、かなりの数の高解像度と低解像度の画像を必要とするが、通常は現実のシナリオでは利用できない。
  論文  参考訳（メタデータ） (2024-06-10T02:20:26Z)
• Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
  本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。 同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
  論文  参考訳（メタデータ） (2024-06-06T03:37:39Z)
• Divide and Conquer: Rethinking the Training Paradigm of Neural Radiance Fields [24.99410489251996]
  ニューラルレイディアンス場(NeRF)は3Dシーンの高忠実度ビューに可能性を示した。 NeRFの標準トレーニングパラダイムは、トレーニングセットの各画像に等しい重要性を前提としている。 本稿では、現在のトレーニングパラダイムの意義を詳しく調べ、より優れたレンダリング品質のために再設計する。
  論文  参考訳（メタデータ） (2024-01-29T13:23:34Z)
• 3D Visibility-aware Generalizable Neural Radiance Fields for Interacting Hands [51.305421495638434]
  ニューラル放射場(NeRF)は、シーン、オブジェクト、人間の3D表現を約束する。 本稿では,手動操作のための一般化可能な視認可能なNeRFフレームワークを提案する。 Interhand2.6Mデータセットの実験により、提案したVA-NeRFは従来のNeRFよりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2024-01-02T00:42:06Z)
• Towards a Robust Framework for NeRF Evaluation [11.348562090906576]
  ニューラルレージアンスフィールド(NeRF)パイプラインからニューラルレンダリングネットワークを分離する新しいテストフレームワークを提案する。 次に, 明示的放射場表現に基づくNeRFの訓練と評価を行い, パラメトリック評価を行う。 我々のアプローチは、NeRF法の比較客観的評価フレームワークを作成する可能性を提供します。
  論文  参考訳（メタデータ） (2023-05-29T13:30:26Z)
• Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction [77.69363640021503]
  3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。 本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
  論文  参考訳（メタデータ） (2023-04-13T17:59:01Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• NeRF, meet differential geometry! [10.269997499911668]
  微分幾何学は、NeRFのようなモデルを頑健に訓練するための正規化ツールをいかに提供できるかを示す。 これらのツールが,従来提案されていたNeRF変種を直接数学的定式化して,課題のある条件下での性能向上を図る方法を示す。
  論文  参考訳（メタデータ） (2022-06-29T22:45:34Z)
• UNISURF: Unifying Neural Implicit Surfaces and Radiance Fields for Multi-View Reconstruction [61.17219252031391]
  ニューラル暗黙的3D表現を用いた多視点画像から表面を再構築する新しい手法を提案する。 我々の重要な洞察は、暗黙の曲面モデルと放射場を統一的に定式化し、表面および体積のレンダリングを可能にすることである。 実験により, マスクを必要とせず, idrと同等の性能を保ちつつ, 再構成品質でnrfを上回った。
  論文  参考訳（メタデータ） (2021-04-20T15:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。