論文の概要: MRVM-NeRF: Mask-Based Pretraining for Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2304.04962v1
• Date: Tue, 11 Apr 2023 04:12:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-12 16:17:36.343747
• Title: MRVM-NeRF: Mask-Based Pretraining for Neural Radiance Fields
• Title（参考訳）: MRVM-NeRF: マスクによるニューラルラジアンス場の事前学習
• Authors: Ganlin Yang, Guoqiang Wei, Zhizheng Zhang, Yan Lu, Dong Liu
• Abstract要約: 一般化可能なニューラルラジアンス場(NeRF)のためのマスクベース光線とビューモデリング法を提案する。 多視点から得られる部分情報を捨てることで、光線に沿った試料点の割合を微調整でランダムにマスキングする。 このように、事前訓練中に学習した3Dシーンの事前知識は、微調整後の新しいシナリオをより一般化するのに役立ちます。
• 参考スコア（独自算出の注目度）: 31.837333024969546
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most Neural Radiance Fields (NeRFs) have poor generalization ability, limiting their application when representing multiple scenes by a single model. To ameliorate this problem, existing methods simply condition NeRF models on image features, lacking the global understanding and modeling of the entire 3D scene. Inspired by the significant success of mask-based modeling in other research fields, we propose a masked ray and view modeling method for generalizable NeRF (MRVM-NeRF), the first attempt to incorporate mask-based pretraining into 3D implicit representations. Specifically, considering that the core of NeRFs lies in modeling 3D representations along the rays and across the views, we randomly mask a proportion of sampled points along the ray at fine stage by discarding partial information obtained from multi-viewpoints, targeting at predicting the corresponding features produced in the coarse branch. In this way, the learned prior knowledge of 3D scenes during pretraining helps the model generalize better to novel scenarios after finetuning. Extensive experiments demonstrate the superiority of our proposed MRVM-NeRF under various synthetic and real-world settings, both qualitatively and quantitatively. Our empirical studies reveal the effectiveness of our proposed innovative MRVM which is specifically designed for NeRF models.
• Abstract（参考訳）: ほとんどのneural radiance field (nerfs) は一般化能力に乏しく、単一のモデルで複数のシーンを表現する場合のアプリケーションを制限する。 この問題を改善するため、既存の手法では、画像の特徴に対してNeRFモデルを単純に条件付けし、3Dシーン全体のグローバルな理解とモデリングを欠いている。 マスクベースモデリングの他の研究分野における有意な成功に触発されて,mrvm-nerf (generalizable nerf) のマスクレイおよびビューモデリング手法を提案し,マスクベースプリトレーニングを3次元暗黙表現に組み込む最初の試みである。 具体的には、NeRFのコアは、光線に沿った3次元表現をモデル化し、視野を横切ることで、多視点から得られる部分情報を排除し、粗い分岐で生成された対応する特徴を予測することで、光線に沿ったサンプル点の割合をランダムにマスクする。 このように、事前訓練中に学習した3Dシーンの事前知識は、微調整後の新しいシナリオへの一般化に役立つ。 MRVM-NeRFは,定性的かつ定量的に,様々な合成および実世界の環境下での優位性を示す。 実験により,NeRFモデルに特化して設計された革新的MRVMの有効性が明らかになった。

関連論文リスト

• Inter-slice Super-resolution of Magnetic Resonance Images by Pre-training and Self-supervised Fine-tuning [49.197385954021456]
  臨床実践では、2次元磁気共鳴(MR)シーケンスが広く採用されている。個々の2次元スライスを積み重ねて3次元ボリュームを形成できるが、比較的大きなスライスススペーシングは可視化とその後の解析タスクに課題をもたらす可能性がある。 スライス間隔を低減するため,ディープラーニングに基づく超解像技術が広く研究されている。 現在のほとんどのソリューションは、教師付きトレーニングのために、かなりの数の高解像度と低解像度の画像を必要とするが、通常は現実のシナリオでは利用できない。
  論文  参考訳（メタデータ） (2024-06-10T02:20:26Z)
• Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
  本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。 同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
  論文  参考訳（メタデータ） (2024-06-06T03:37:39Z)
• Divide and Conquer: Rethinking the Training Paradigm of Neural Radiance Fields [24.99410489251996]
  ニューラルレイディアンス場(NeRF)は3Dシーンの高忠実度ビューに可能性を示した。 NeRFの標準トレーニングパラダイムは、トレーニングセットの各画像に等しい重要性を前提としている。 本稿では、現在のトレーニングパラダイムの意義を詳しく調べ、より優れたレンダリング品質のために再設計する。
  論文  参考訳（メタデータ） (2024-01-29T13:23:34Z)
• 3D Visibility-aware Generalizable Neural Radiance Fields for Interacting Hands [51.305421495638434]
  ニューラル放射場(NeRF)は、シーン、オブジェクト、人間の3D表現を約束する。 本稿では,手動操作のための一般化可能な視認可能なNeRFフレームワークを提案する。 Interhand2.6Mデータセットの実験により、提案したVA-NeRFは従来のNeRFよりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2024-01-02T00:42:06Z)
• Towards a Robust Framework for NeRF Evaluation [11.348562090906576]
  ニューラルレージアンスフィールド(NeRF)パイプラインからニューラルレンダリングネットワークを分離する新しいテストフレームワークを提案する。 次に, 明示的放射場表現に基づくNeRFの訓練と評価を行い, パラメトリック評価を行う。 我々のアプローチは、NeRF法の比較客観的評価フレームワークを作成する可能性を提供します。
  論文  参考訳（メタデータ） (2023-05-29T13:30:26Z)
• Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction [77.69363640021503]
  3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。 本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
  論文  参考訳（メタデータ） (2023-04-13T17:59:01Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• NeRF, meet differential geometry! [10.269997499911668]
  微分幾何学は、NeRFのようなモデルを頑健に訓練するための正規化ツールをいかに提供できるかを示す。 これらのツールが,従来提案されていたNeRF変種を直接数学的定式化して,課題のある条件下での性能向上を図る方法を示す。
  論文  参考訳（メタデータ） (2022-06-29T22:45:34Z)
• UNISURF: Unifying Neural Implicit Surfaces and Radiance Fields for Multi-View Reconstruction [61.17219252031391]
  ニューラル暗黙的3D表現を用いた多視点画像から表面を再構築する新しい手法を提案する。 我々の重要な洞察は、暗黙の曲面モデルと放射場を統一的に定式化し、表面および体積のレンダリングを可能にすることである。 実験により, マスクを必要とせず, idrと同等の性能を保ちつつ, 再構成品質でnrfを上回った。
  論文  参考訳（メタデータ） (2021-04-20T15:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。