論文の概要: NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor Multi-view Stereo

• arxiv url: http://arxiv.org/abs/2109.01129v2
• Date: Fri, 3 Sep 2021 17:50:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-06 11:12:38.109925
• Title: NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor Multi-view Stereo
• Title（参考訳）: nerfingmvs: 屋内多視点ステレオのための神経放射場の最適化
• Authors: Yi Wei, Shaohui Liu, Yongming Rao, Wang Zhao, Jiwen Lu, Jie Zhou
• Abstract要約: 本稿では,従来のSfM再構成と学習に基づく先行手法を併用した多視点深度推定手法を提案する。 提案手法は室内シーンにおける最先端手法を著しく上回ることを示す。
• 参考スコア（独自算出の注目度）: 97.07453889070574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we present a new multi-view depth estimation method that utilizes both conventional SfM reconstruction and learning-based priors over the recently proposed neural radiance fields (NeRF). Unlike existing neural network based optimization method that relies on estimated correspondences, our method directly optimizes over implicit volumes, eliminating the challenging step of matching pixels in indoor scenes. The key to our approach is to utilize the learning-based priors to guide the optimization process of NeRF. Our system firstly adapts a monocular depth network over the target scene by finetuning on its sparse SfM reconstruction. Then, we show that the shape-radiance ambiguity of NeRF still exists in indoor environments and propose to address the issue by employing the adapted depth priors to monitor the sampling process of volume rendering. Finally, a per-pixel confidence map acquired by error computation on the rendered image can be used to further improve the depth quality. Experiments show that our proposed framework significantly outperforms state-of-the-art methods on indoor scenes, with surprising findings presented on the effectiveness of correspondence-based optimization and NeRF-based optimization over the adapted depth priors. In addition, we show that the guided optimization scheme does not sacrifice the original synthesis capability of neural radiance fields, improving the rendering quality on both seen and novel views. Code is available at https://github.com/weiyithu/NerfingMVS.
• Abstract（参考訳）: 本研究では,最近提案されたニューラルラディアンス場(NeRF)に対して,従来のSfM再構成と学習に基づく事前推定を併用した多視点深度推定手法を提案する。 推定対応に依存する既存のニューラルネットワークベースの最適化手法とは異なり、本手法は暗黙のボリュームを直接最適化し、屋内シーンにおける画素マッチングの難易度を除去する。 このアプローチの鍵は、学習に基づく事前学習を利用して、nrfの最適化プロセスを導くことです。 本システムはまず,SfM再構成を微調整することにより,ターゲットシーン上の単眼深度ネットワークに適応する。 そこで我々は,NeRFの形状のあいまいさを室内環境に残しており,ボリュームレンダリングのサンプリングプロセスを監視するために,適応した深度を用いてこの問題に対処することを提案する。 最後に、レンダリング画像上の誤差計算によって得られた画素ごとの信頼マップを用いて、深度品質をさらに向上することができる。 実験の結果,提案手法は室内環境における最先端の手法よりも優れており,対応性に基づく最適化とNeRFに基づく最適化の有効性が示唆された。 さらに, 誘導最適化方式は, ニューラルラディアンスフィールドのオリジナル合成能力を犠牲にすることなく, 目視と新鮮視のレンダリング品質を向上することを示した。 コードはhttps://github.com/weiyithu/nerfingmvsで入手できる。

関連論文リスト

• PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
  統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。 一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。 一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
  論文  参考訳（メタデータ） (2023-12-17T08:30:00Z)
• VQ-NeRF: Vector Quantization Enhances Implicit Neural Representations [25.88881764546414]
  VQ-NeRFは、ベクトル量子化による暗黙の神経表現を強化するための効率的なパイプラインである。 圧縮および原スケールの両スケールでNeRFモデルを同時に最適化する,革新的なマルチスケールNeRFサンプリング方式を提案する。 我々は3次元再構成の幾何学的忠実度とセマンティックコヒーレンスを改善するためにセマンティックロス関数を組み込んだ。
  論文  参考訳（メタデータ） (2023-10-23T01:41:38Z)
• BID-NeRF: RGB-D image pose estimation with inverted Neural Radiance Fields [0.0]
  Inverted Neural Radiance Fields (iNeRF) アルゴリズムの改良を目標とし、画像ポーズ推定問題をNeRFに基づく反復線形最適化として定義する。 NeRFは、現実世界のシーンやオブジェクトのフォトリアリスティックな新しいビューを合成できる新しい空間表現モデルである。
  論文  参考訳（メタデータ） (2023-10-05T14:27:06Z)
• MIPS-Fusion: Multi-Implicit-Submaps for Scalable and Robust Online Neural RGB-D Reconstruction [15.853932110058585]
  本稿では,新しい暗黙表現-多目的サブマップに基づく,堅牢でスケーラブルなオンラインRGB-D再構成手法を提案する。 本手法では,脳神経サブマップを走査軌道に沿って漸進的に配置し,局所的な神経束の調整によって効率よく学習する。 初めてランダム化された最適化は、学習プロセスにいくつかの重要な設計を施したニューラルトラッキングにおいて可能となり、高速カメラモーションの下でも効率的でロバストなトラッキングを可能にする。
  論文  参考訳（メタデータ） (2023-08-17T02:33:16Z)
• VA-DepthNet: A Variational Approach to Single Image Depth Prediction [163.14849753700682]
  VA-DepthNetは、単一画像深度予測問題に対する単純で効果的で正確なディープニューラルネットワークアプローチである。 本論文は,複数のベンチマークデータセットに対する広範囲な評価とアブレーション解析により提案手法の有用性を実証する。
  論文  参考訳（メタデータ） (2023-02-13T17:55:58Z)
• Low-light Image Enhancement by Retinex Based Algorithm Unrolling and Adjustment [50.13230641857892]
  本稿では,低照度画像強調(LIE)問題に対する新たなディープラーニングフレームワークを提案する。 提案フレームワークは,大域的明るさと局所的明るさ感度の両方を考慮したアルゴリズムアンロールと調整ネットワークに着想を得た分解ネットワークを含む。 一連の典型的なLIEデータセットの実験では,既存の手法と比較して,定量的かつ視覚的に,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-02-12T03:59:38Z)
• Riggable 3D Face Reconstruction via In-Network Optimization [58.016067611038046]
  本稿では,単眼画像からの3次元顔再構成法を提案する。 表情、ポーズ、照明を含む画像ごとのパーソナライズされた顔リグとパラメータを共同で推定する。 実験により,SOTA復元精度,ロバスト性,一般化能力が得られた。
  論文  参考訳（メタデータ） (2021-04-08T03:53:20Z)
• Blind Image Restoration with Flow Based Priors [19.190289348734215]
  未知の劣化を伴う盲点において、優れた先行性は依然として不可欠である。 本稿では, 正規化フローを用いて対象コンテンツの分布をモデル化し, 最大アフターリ(MAP)の定式化に先立ってこれを前もって用いることを提案する。 我々の知る限りでは、これは画像強調問題に先行する正規化フローを探求する最初の研究である。
  論文  参考訳（メタデータ） (2020-09-09T21:40:11Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。