論文の概要: MonoPatchNeRF: Improving Neural Radiance Fields with Patch-based Monocular Guidance

• arxiv url: http://arxiv.org/abs/2404.08252v1
• Date: Fri, 12 Apr 2024 05:43:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 15:55:31.058536
• Title: MonoPatchNeRF: Improving Neural Radiance Fields with Patch-based Monocular Guidance
• Title（参考訳）: MonoPatchNeRF: パッチに基づく単眼誘導による神経放射場の改善
• Authors: Yuqun Wu, Jae Yong Lee, Chuhang Zou, Shenlong Wang, Derek Hoiem,
• Abstract要約: 本稿では,正確な幾何学とビュー合成を提供する3次元モデルの構築を目的とする。 単分子表面の正規および相対深度予測を効果的に活用するパッチベースのアプローチを提案する。 ETH3D MVSベンチマークの平均F1@2cmにおいて、RegNeRFの4倍、FreeNeRFの8倍の性能を示す。
• 参考スコア（独自算出の注目度）: 29.267039546199094
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The latest regularized Neural Radiance Field (NeRF) approaches produce poor geometry and view extrapolation for multiview stereo (MVS) benchmarks such as ETH3D. In this paper, we aim to create 3D models that provide accurate geometry and view synthesis, partially closing the large geometric performance gap between NeRF and traditional MVS methods. We propose a patch-based approach that effectively leverages monocular surface normal and relative depth predictions. The patch-based ray sampling also enables the appearance regularization of normalized cross-correlation (NCC) and structural similarity (SSIM) between randomly sampled virtual and training views. We further show that "density restrictions" based on sparse structure-from-motion points can help greatly improve geometric accuracy with a slight drop in novel view synthesis metrics. Our experiments show 4x the performance of RegNeRF and 8x that of FreeNeRF on average F1@2cm for ETH3D MVS benchmark, suggesting a fruitful research direction to improve the geometric accuracy of NeRF-based models, and sheds light on a potential future approach to enable NeRF-based optimization to eventually outperform traditional MVS.
• Abstract（参考訳）: 最新の正規化ニューラルラジアンスフィールド(NeRF)アプローチは、ETH3Dのようなマルチビューステレオ(MVS)ベンチマークに対して、ジオメトリとビューの外挿が貧弱である。 本論文では,NeRF法と従来のMVS法の間の大きな幾何学的性能ギャップを部分的に解消し,正確な幾何学的およびビュー合成を提供する3次元モデルを作成することを目的とする。 単分子表面の正規化と相対深度予測を効果的に活用するパッチベースのアプローチを提案する。 パッチベースのレイサンプリングはまた、ランダムにサンプリングされた仮想ビューとトレーニングビューの間の正規化相互相関(NCC)と構造類似性(SSIM)の出現規則化を可能にする。 さらに、運動点からのスパース構造に基づく「密度制限」は、新しいビュー合成指標をわずかに低下させることで、幾何的精度を大幅に向上させることができることを示す。 ETH3D MVSベンチマークでは、平均F1@2cmにおけるRegNeRFとFreeNeRFの8倍の性能を示し、NeRFベースのモデルの幾何精度を改善するための実りある研究方向を示唆し、NeRFベースの最適化を最終的に従来のMVSを上回るものにするための潜在的アプローチに光を当てた。

関連論文リスト

• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• Binocular-Guided 3D Gaussian Splatting with View Consistency for Sparse View Synthesis [53.702118455883095]
  本稿では,ガウススプラッティングを用いたスパースビューから新しいビューを合成する新しい手法を提案する。 私たちのキーとなるアイデアは、両眼画像間の両眼立体的一貫性に固有の自己超越を探索することにあります。 我々の手法は最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T15:10:27Z)
• RaNeuS: Ray-adaptive Neural Surface Reconstruction [87.20343320266215]
  微分可能放射場 eg NeRF を利用して、新しいビューレンダリングを生成するとともに、詳細な3次元表面を再構成する。 本研究では,SDFから放射場への射影を一様等間隔のアイコニカル正規化で定式化し,最適化することを考えると,光度重み付け係数を改良する。 提案する textitRaNeuS は,合成データと実データの両方で広く評価されている。
  論文  参考訳（メタデータ） (2024-06-14T07:54:25Z)
• Uncertainty-guided Optimal Transport in Depth Supervised Sparse-View 3D Gaussian [49.21866794516328]
  3次元ガウシアンスプラッティングは、リアルタイムな新規ビュー合成において顕著な性能を示した。 これまでのアプローチでは、3Dガウスの訓練に奥行き監視を取り入れ、オーバーフィッティングを軽減してきた。 本研究では,3次元ガウスの深度分布を可視化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:18:30Z)
• $ν$-DBA: Neural Implicit Dense Bundle Adjustment Enables Image-Only Driving Scene Reconstruction [31.64067619807023]
  $nu$-DBAは、地図パラメトリゼーションのための3次元暗黙曲面を用いた幾何学的密集束調整(DBA)を実装している。 我々は、高密度マッピングの品質をさらに向上するために、シーンごとの自己スーパービジョンで光学フローモデルを微調整する。
  論文  参考訳（メタデータ） (2024-04-29T05:29:26Z)
• A Neural Height-Map Approach for the Binocular Photometric Stereo Problem [36.404880059833324]
  双眼鏡測光ステレオ(PS)フレームワークは単視PSと同じ取得速度を持つが、推定幾何の質は著しく向上する。 本手法は両眼立体装置に適応したDiLiGenT-MVデータセットの最先端性能と新しい両眼測光ステレオデータセットLUCES-STを実現する。
  論文  参考訳（メタデータ） (2023-11-10T09:45:53Z)
• GARF:Geometry-Aware Generalized Neural Radiance Field [47.76524984421343]
  本稿では,GADS(Geometry-Aware Generalized Neural Radiance Field)戦略を用いたGARF(Geometry-Aware Generalized Neural Radiance Field)を提案する。 筆者らのフレームワークは,画素スケールと幾何学スケールの両方において,わずかに入力画像で見えないシーンを推測する。 屋内および屋外のデータセットの実験では、GARFはレンダリング品質と3次元幾何推定を改善しながら、サンプルを25%以上削減している。
  論文  参考訳（メタデータ） (2022-12-05T14:00:59Z)
• Investigating Spherical Epipolar Rectification for Multi-View Stereo 3D Reconstruction [1.0152838128195467]
  主線の違いによる歪みを最小限に抑えるために, エピポーラ補正のための球面モデルを提案する。 提案手法がフレームベースのエピポーラ補正よりも優れていることを示す定性的,定量的評価を行った。
  論文  参考訳（メタデータ） (2022-04-08T15:50:20Z)
• A Model for Multi-View Residual Covariances based on Perspective Deformation [88.21738020902411]
  マルチビューSfM, オードメトリ, SLAMセットアップにおける視覚的残差の共分散モデルの導出を行う。 我々は、合成データと実データを用いてモデルを検証し、それを光度および特徴量に基づくバンドル調整に統合する。
  論文  参考訳（メタデータ） (2022-02-01T21:21:56Z)
• Probabilistic and Geometric Depth: Detecting Objects in Perspective [78.00922683083776]
  3次元物体検出は、運転支援システムなどの様々な実用用途で必要とされる重要な機能である。 双眼視やLiDARに頼っている従来の設定に比べて、経済的な解決策として単眼3D検出が注目されているが、それでも満足のいく結果が得られていない。 本稿ではまず,この問題に関する系統的研究を行い,現在の単分子3次元検出問題をインスタンス深度推定問題として単純化できることを考察する。
  論文  参考訳（メタデータ） (2021-07-29T16:30:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。