論文の概要: MonoPatchNeRF: Improving Neural Radiance Fields with Patch-based Monocular Guidance

• arxiv url: http://arxiv.org/abs/2404.08252v1
• Date: Fri, 12 Apr 2024 05:43:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 15:55:31.058536
• Title: MonoPatchNeRF: Improving Neural Radiance Fields with Patch-based Monocular Guidance
• Title（参考訳）: MonoPatchNeRF: パッチに基づく単眼誘導による神経放射場の改善
• Authors: Yuqun Wu, Jae Yong Lee, Chuhang Zou, Shenlong Wang, Derek Hoiem,
• Abstract要約: 本稿では,正確な幾何学とビュー合成を提供する3次元モデルの構築を目的とする。 単分子表面の正規および相対深度予測を効果的に活用するパッチベースのアプローチを提案する。 ETH3D MVSベンチマークの平均F1@2cmにおいて、RegNeRFの4倍、FreeNeRFの8倍の性能を示す。
• 参考スコア（独自算出の注目度）: 29.267039546199094
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The latest regularized Neural Radiance Field (NeRF) approaches produce poor geometry and view extrapolation for multiview stereo (MVS) benchmarks such as ETH3D. In this paper, we aim to create 3D models that provide accurate geometry and view synthesis, partially closing the large geometric performance gap between NeRF and traditional MVS methods. We propose a patch-based approach that effectively leverages monocular surface normal and relative depth predictions. The patch-based ray sampling also enables the appearance regularization of normalized cross-correlation (NCC) and structural similarity (SSIM) between randomly sampled virtual and training views. We further show that "density restrictions" based on sparse structure-from-motion points can help greatly improve geometric accuracy with a slight drop in novel view synthesis metrics. Our experiments show 4x the performance of RegNeRF and 8x that of FreeNeRF on average F1@2cm for ETH3D MVS benchmark, suggesting a fruitful research direction to improve the geometric accuracy of NeRF-based models, and sheds light on a potential future approach to enable NeRF-based optimization to eventually outperform traditional MVS.
• Abstract（参考訳）: 最新の正規化ニューラルラジアンスフィールド(NeRF)アプローチは、ETH3Dのようなマルチビューステレオ(MVS)ベンチマークに対して、ジオメトリとビューの外挿が貧弱である。 本論文では,NeRF法と従来のMVS法の間の大きな幾何学的性能ギャップを部分的に解消し,正確な幾何学的およびビュー合成を提供する3次元モデルを作成することを目的とする。 単分子表面の正規化と相対深度予測を効果的に活用するパッチベースのアプローチを提案する。 パッチベースのレイサンプリングはまた、ランダムにサンプリングされた仮想ビューとトレーニングビューの間の正規化相互相関(NCC)と構造類似性(SSIM)の出現規則化を可能にする。 さらに、運動点からのスパース構造に基づく「密度制限」は、新しいビュー合成指標をわずかに低下させることで、幾何的精度を大幅に向上させることができることを示す。 ETH3D MVSベンチマークでは、平均F1@2cmにおけるRegNeRFとFreeNeRFの8倍の性能を示し、NeRFベースのモデルの幾何精度を改善するための実りある研究方向を示唆し、NeRFベースの最適化を最終的に従来のMVSを上回るものにするための潜在的アプローチに光を当てた。

関連論文リスト

• RaNeuS: Ray-adaptive Neural Surface Reconstruction [87.20343320266215]
  微分可能放射場 eg NeRF を利用して、新しいビューレンダリングを生成するとともに、詳細な3次元表面を再構成する。 本研究では,SDFから放射場への射影を一様等間隔のアイコニカル正規化で定式化し,最適化することを考えると,光度重み付け係数を改良する。 提案する textitRaNeuS は,合成データと実データの両方で広く評価されている。
  論文  参考訳（メタデータ） (2024-06-14T07:54:25Z)
• SGCNeRF: Few-Shot Neural Rendering via Sparse Geometric Consistency Guidance [106.0057551634008]
  FreeNeRFは暗黙の幾何正規化を統合することでこの制限を克服しようとする。 新しい研究は、新しい特徴マッチングに基づくスパース幾何正規化モジュールを導入する。 モジュールは、高周波キーポイントをピンポイントすることで、詳細の完全性を保護する。
  論文  参考訳（メタデータ） (2024-04-01T08:37:57Z)
• Q-SLAM: Quadric Representations for Monocular SLAM [89.05457684629621]
  モノクラーSLAMは、3Dジオメトリを正確にモデル化するという課題に長い間取り組んできた。 ニューラルラジアンス場(NeRF)をベースとしたモノキュラーSLAMの最近の進歩は、将来性を示している。 本稿では,2次形式のレンズを通して体積表現を再現する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-12T23:27:30Z)
• PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
  統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。 一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。 一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
  論文  参考訳（メタデータ） (2023-12-17T08:30:00Z)
• NeRF-Det: Learning Geometry-Aware Volumetric Representation for Multi-View 3D Object Detection [65.02633277884911]
  提案するNeRF-Detは,RGB画像を入力として室内3次元検出を行う新しい手法である。 提案手法は3次元形状を明示的に推定するため, エンドツーエンドでNeRFを用いて3次元検出性能を向上する。
  論文  参考訳（メタデータ） (2023-07-27T04:36:16Z)
• Improving Neural Radiance Fields with Depth-aware Optimization for Novel View Synthesis [12.3338393483795]
  SfMNeRFは,新規な視点の合成と3次元シーン形状の再構成を行う手法である。 SfMNeRFは、エピポーラ性、光度整合性、深さの滑らかさ、および3Dシーン構造を明示的に再構成するためにマッチ位置制約を用いる。 2つの公開データセットの実験では、SfMNeRFが最先端のアプローチを上回ることが示されている。
  論文  参考訳（メタデータ） (2023-04-11T13:37:17Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• GARF:Geometry-Aware Generalized Neural Radiance Field [47.76524984421343]
  本稿では,GADS(Geometry-Aware Generalized Neural Radiance Field)戦略を用いたGARF(Geometry-Aware Generalized Neural Radiance Field)を提案する。 筆者らのフレームワークは,画素スケールと幾何学スケールの両方において,わずかに入力画像で見えないシーンを推測する。 屋内および屋外のデータセットの実験では、GARFはレンダリング品質と3次元幾何推定を改善しながら、サンプルを25%以上削減している。
  論文  参考訳（メタデータ） (2022-12-05T14:00:59Z)
• Learning Neural Radiance Fields from Multi-View Geometry [1.1011268090482573]
  画像に基づく3次元再構成のために,多視点幾何アルゴリズムとニューラルレージアンス場(NeRF)を組み合わせたMVG-NeRF(MVG-NeRF)というフレームワークを提案する。 NeRFは暗黙の3D表現の分野に革命をもたらした。
  論文  参考訳（メタデータ） (2022-10-24T08:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。