Fugu-MT 論文翻訳(概要): Enhancing Neural Radiance Fields with Depth and Normal Completion Priors from Sparse Views

論文の概要: Enhancing Neural Radiance Fields with Depth and Normal Completion Priors from Sparse Views

arxiv url: http://arxiv.org/abs/2407.05666v1
Date: Mon, 8 Jul 2024 07:03:22 GMT
ステータス: 処理完了
システム内更新日: 2024-07-09 16:50:12.352323
Title: Enhancing Neural Radiance Fields with Depth and Normal Completion Priors from Sparse Views
Title（参考訳）: スパースビューからの奥行きと正常完了優先度によるニューラルラジアンスフィールドの強化
Authors: Jiawei Guo, HungChyun Chou, Ning Ding,
Abstract要約: Neural Radiance Fields (NeRF)は、ニューラルネットワークモデルを通じてシーンについて学ぶことによって、非常にリアルな画像を生成する。 NeRFは、十分な画像が扱えない場合、しばしば問題に遭遇し、ビューを正確にレンダリングする際の問題を引き起こす。このフレームワークは、NeRF最適化プロセスに先立って、奥行きと通常の密閉を付加することにより、ビューレンダリングを強化する。
参考スコア（独自算出の注目度）: 8.533926962066305
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Neural Radiance Fields (NeRF) are an advanced technology that creates highly realistic images by learning about scenes through a neural network model. However, NeRF often encounters issues when there are not enough images to work with, leading to problems in accurately rendering views. The main issue is that NeRF lacks sufficient structural details to guide the rendering process accurately. To address this, we proposed a Depth and Normal Dense Completion Priors for NeRF (CP\_NeRF) framework. This framework enhances view rendering by adding depth and normal dense completion priors to the NeRF optimization process. Before optimizing NeRF, we obtain sparse depth maps using the Structure from Motion (SfM) technique used to get camera poses. Based on the sparse depth maps and a normal estimator, we generate sparse normal maps for training a normal completion prior with precise standard deviations. During optimization, we apply depth and normal completion priors to transform sparse data into dense depth and normal maps with their standard deviations. We use these dense maps to guide ray sampling, assist distance sampling and construct a normal loss function for better training accuracy. To improve the rendering of NeRF's normal outputs, we incorporate an optical centre position embedder that helps synthesize more accurate normals through volume rendering. Additionally, we employ a normal patch matching technique to choose accurate rendered normal maps, ensuring more precise supervision for the model. Our method is superior to leading techniques in rendering detailed indoor scenes, even with limited input views.
Abstract（参考訳）: NeRF(Neural Radiance Fields)は、ニューラルネットワークモデルを通じてシーンを学習することで、非常にリアルな画像を生成する高度な技術である。しかし、NeRFは、処理すべき画像が十分でない場合にしばしば問題に遭遇し、ビューを正確にレンダリングする際の問題を引き起こす。主な問題は、NeRFはレンダリングプロセスを正確に導くのに十分な構造的な詳細が欠けていることである。そこで我々は,NeRF(CP\_NeRF)フレームワークの深度と正規度を優先する手法を提案する。このフレームワークは、NeRF最適化プロセスに先立って、奥行きと通常の密閉を付加することにより、ビューレンダリングを強化する。我々はNeRFの最適化に先立ち、カメラのポーズを取るために使用されるStructure from Motion (SfM)技術を用いてスパース深度マップを得る。スパース深度マップと正規推定器に基づいて、正確な標準偏差に先立って正規完了を訓練するためのスパース正規写像を生成する。最適化中、スパースデータを標準偏差のある密度の深さと正規写像に変換するために、深さと正規完備化を前もって適用する。我々はこれらの高密度マップを用いてレイサンプリングを誘導し、距離サンプリングを補助し、トレーニング精度を高めるために正規損失関数を構築する。我々は、NeRFの正規出力のレンダリングを改善するために、ボリュームレンダリングによりより正確な正規値を合成する光学中心位置埋め込み器を組み込んだ。さらに、正規パッチマッチング手法を用いて、正確なレンダリングされた正規写像を選択し、モデルのより正確な監視を保証する。本手法は,入力ビューが限られている場合でも,室内の詳細なシーンを描画する上で,先行技術よりも優れている。

関連論文リスト

Scale Propagation Network for Generalizable Depth Completion [16.733495588009184]
入力から出力までのスケールを伝搬する新しいスケール伝搬正規化法(SP-Norm)を提案する。また,SP-NormとConvNeXt V2のバックボーンをベースとした新しいネットワークアーキテクチャを開発した。我々のモデルは、最先端の手法と比較して、高速かつ低メモリで常に最高の精度を達成している。
論文参考訳（メタデータ） (2024-10-24T03:53:06Z)
Simple-RF: Regularizing Sparse Input Radiance Fields with Simpler Solutions [5.699788926464751]
ニューラル・ラジアンス・フィールド(NeRF)は、シーンのフォトリアリスティックなフリービューレンダリングにおいて印象的なパフォーマンスを示す。 TensoRFやZipNeRFといったNeRFの最近の改良は、最適化とレンダリングの高速化のために明示的なモデルを採用している。放射場によって推定される深度を監督することは、より少ない視点で効果的に学習することに役立つことを示す。
論文参考訳（メタデータ） (2024-04-29T18:00:25Z)
Indoor Scene Reconstruction with Fine-Grained Details Using Hybrid Representation and Normal Prior Enhancement [50.56517624931987]
多視点RGB画像からの室内シーンの再構成は、平坦領域とテクスチャレス領域の共存により困難である。近年の手法では、予測された表面正規化によって支援されたニューラルラジアンス場を利用してシーン形状を復元している。本研究は, 上記の制限に対処して, 高忠実度表面を細かな詳細で再構築することを目的とする。
論文参考訳（メタデータ） (2023-09-14T12:05:29Z)
SimpleNeRF: Regularizing Sparse Input Neural Radiance Fields with Simpler Solutions [6.9980855647933655]
NeRFによって推定される深さの監視は、より少ないビューで効果的にトレーニングするのに役立つ。我々は、位置エンコーディングとビュー依存放射能の役割を探求することによって、より単純な解決を促進する拡張モデルの設計を行う。上記の正規化を用いて、2つの一般的なデータセット上での最先端のビュー合成性能を実現する。
論文参考訳（メタデータ） (2023-09-07T18:02:57Z)
ViP-NeRF: Visibility Prior for Sparse Input Neural Radiance Fields [9.67057831710618]
スパース入力ビューにおけるニューラルレイディアンス場(NeRF)のトレーニングは、過度な適合と不正確なシーン深さ推定につながる。我々は、NeRFを再構成して、与えられた視点から3Dポイントの可視性を直接出力し、可視性制約でトレーニング時間を短縮する。我々のモデルは、学習した先行データを含む、競合するスパース入力のNeRFモデルよりも優れています。
論文参考訳（メタデータ） (2023-04-28T18:26:23Z)
SparseNeRF: Distilling Depth Ranking for Few-shot Novel View Synthesis [93.46963803030935]
実世界の不正確な観測から奥行きの先行情報を利用する新しいスパースビューNeRF(Sparse-view NeRF)フレームワークを提案する。局所パッチの粗い深度マップとNeRFの予測深度ランキングが一致するように, 局所深度ランキング法である簡易で効果的な制約を提案する。また、Azure Kinect、ZED 2、iPhone 13 Proの実際の深度マップを含む新しいデータセットNVS-RGBDも収集しています。
論文参考訳（メタデータ） (2023-03-28T17:58:05Z)
DBARF: Deep Bundle-Adjusting Generalizable Neural Radiance Fields [75.35416391705503]
BARFやGARFといった最近の研究は、座標MLPに基づくニューラルレイディアンスフィールド(NeRF)でカメラのポーズを調整することができる。印象的な結果にもかかわらず、これらの手法は画像特徴抽出を必要とするGeneralizable NeRF(GeNeRF)には適用できない。本稿では,GeNeRFとカメラポーズを協調的に最適化することの難しさをまず分析し,さらにこれらの問題に対処するためのDBARFを提案する。
論文参考訳（メタデータ） (2023-03-25T14:18:30Z)
Dense Depth Priors for Neural Radiance Fields from Sparse Input Views [37.92064060160628]
そこで本研究では,部屋全体の新しいビューを,桁違いに少ない画像から合成する手法を提案する。提案手法は,18枚以上の映像をシーン全体に適用して,挑戦的な屋内シーンにおけるデータ効率の高い新規ビュー合成を可能にする。
論文参考訳（メタデータ） (2021-12-06T19:00:02Z)
NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor Multi-view Stereo [97.07453889070574]
本稿では,従来のSfM再構成と学習に基づく先行手法を併用した多視点深度推定手法を提案する。提案手法は室内シーンにおける最先端手法を著しく上回ることを示す。
論文参考訳（メタデータ） (2021-09-02T17:54:31Z)
Depth-supervised NeRF: Fewer Views and Faster Training for Free [69.34556647743285]
DS-NeRF (Depth-supervised Neural Radiance Fields) は、容易に利用できる深度監視を利用する学習分野の損失である。我々の損失は他のNeRF法と互換性があることを示し、深度は安価で消化し易い監視信号であることを示した。
論文参考訳（メタデータ） (2021-07-06T17:58:35Z)
Depth Completion Using a View-constrained Deep Prior [73.21559000917554]
近年の研究では、畳み込みニューラルネットワーク(CNN)の構造が、自然画像に有利な強い先行性をもたらすことが示されている。この前者はディープ・イメージ・先行 (DIP) と呼ばれ、画像の装飾や塗装といった逆問題において有効な正則化器である。我々は、DIPの概念を深度画像に拡張し、色画像とノイズと不完全な目標深度マップから、CNNネットワーク構造を先行して復元された深度マップを再構成する。
論文参考訳（メタデータ） (2020-01-21T21:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。