論文の概要: Improved Neural Radiance Fields Using Pseudo-depth and Fusion

• arxiv url: http://arxiv.org/abs/2308.03772v1
• Date: Thu, 27 Jul 2023 17:01:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-14 00:41:43.787024
• Title: Improved Neural Radiance Fields Using Pseudo-depth and Fusion
• Title（参考訳）: pseudo-depthとfusionを用いたニューラル・ラミアンス・フィールドの改良
• Authors: Jingliang Li, Qiang Zhou, Chaohui Yu, Zhengda Lu, Jun Xiao, Zhibin Wang, Fan Wang
• Abstract要約: マルチスケール符号化ボリュームの構築とNeRFモデルへのマルチスケール幾何情報の提供を提案する。 シーン内の被写体表面と描画深度をより正確に近づけるために, 同時に深度予測と放射場再構成を行うことを提案する。
• 参考スコア（独自算出の注目度）: 18.088617888326123
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Since the advent of Neural Radiance Fields, novel view synthesis has received tremendous attention. The existing approach for the generalization of radiance field reconstruction primarily constructs an encoding volume from nearby source images as additional inputs. However, these approaches cannot efficiently encode the geometric information of real scenes with various scale objects/structures. In this work, we propose constructing multi-scale encoding volumes and providing multi-scale geometry information to NeRF models. To make the constructed volumes as close as possible to the surfaces of objects in the scene and the rendered depth more accurate, we propose to perform depth prediction and radiance field reconstruction simultaneously. The predicted depth map will be used to supervise the rendered depth, narrow the depth range, and guide points sampling. Finally, the geometric information contained in point volume features may be inaccurate due to occlusion, lighting, etc. To this end, we propose enhancing the point volume feature from depth-guided neighbor feature fusion. Experiments demonstrate the superior performance of our method in both novel view synthesis and dense geometry modeling without per-scene optimization.
• Abstract（参考訳）: ニューラル・ラミアンス・フィールドの出現以来、新しい視点合成は大きな注目を集めている。 放射場再構成の一般化のための既存のアプローチは、主に周辺ソース画像からの符号化ボリュームを付加的な入力として構成する。 しかし,これらの手法は,実場面の幾何学的情報を様々なスケールオブジェクトや構造で効率的にエンコードすることはできない。 本稿では,マルチスケールエンコーディングボリュームの構築とnrfモデルへのマルチスケールジオメトリ情報の提供を提案する。 構築されたボリュームをシーン内の物体の表面とレンダリングされた深さに可能な限り近いものにするため,深度予測と放射場再構成を同時に行うことを提案する。 予測深度マップは、描画深度を監督し、深度範囲を狭め、ガイドポイントをサンプリングするために使用される。 最後に、点容積特徴に含まれる幾何情報は、閉塞、照明等により不正確なものとなる。 そこで本研究では,深度誘導型近傍特徴融合による点体積特性の向上を提案する。 新たなビュー合成と密な幾何モデリングにおいて,シーンごとの最適化を伴わない手法の優れた性能を示す実験を行った。

関連論文リスト

• Refinement of Monocular Depth Maps via Multi-View Differentiable Rendering [4.717325308876748]
  本稿では,複数の画像から一貫した詳細な深度マップを生成するための新しい手法を提案する。 我々は、位相的に完全だが計量的に不正確な深度マップを生成する単眼深度推定の進歩を活用する。 提案手法は,高密度で詳細で高品質な深度マップを作成でき,また屋内シナリオの挑戦も可能であり,最先端の深度復元手法よりも優れている。
  論文  参考訳（メタデータ） (2024-10-04T18:50:28Z)
• DeLiRa: Self-Supervised Depth, Light, and Radiance Fields [32.350984950639656]
  可変ボリュームレンダリングは、3次元再構成と新しいビュー合成のための強力なパラダイムである。 標準的なボリュームレンダリングアプローチは、視点の多様性が限られている場合、縮退したジオメトリーと競合する。 本研究では,多視点測光目標を体積レンダリングのための幾何正則化器として用いることを提案する。
  論文  参考訳（メタデータ） (2023-04-06T00:16:25Z)
• Geo-NI: Geometry-aware Neural Interpolation for Light Field Rendering [57.775678643512435]
  光場レンダリングのためのGeo-NI(Geometry-aware Neural Interpolation)フレームワークを提案する。 NIとDIBRの優位性を組み合わせることで、提案したGeo-NIは、大きな差異でビューをレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-06-20T12:25:34Z)
• GeoNeRF: Generalizing NeRF with Geometry Priors [2.578242050187029]
  ニューラルラジアンス場に基づく一般化可能なフォトリアリスティック・ノベルビュー手法GeoNeRFを提案する。 我々のアプローチは、幾何学的推論と合成という2つの主要な段階から構成される。 実験により、GeoNeRFは様々な合成および実際のデータセット上で、最先端の一般化可能なニューラルネットワークレンダリングモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2021-11-26T15:15:37Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• Volume Rendering of Neural Implicit Surfaces [57.802056954935495]
  本稿では,ニューラルボリュームレンダリングにおける幾何学的表現と再構成を改善することを目的とする。 体積密度を幾何学の関数としてモデル化することで実現する。 この新たな密度表現を挑戦的なシーンマルチビューデータセットに適用することで、高品質な幾何学的再構成を実現した。
  論文  参考訳（メタデータ） (2021-06-22T20:23:16Z)
• Light Field Reconstruction Using Convolutional Network on EPI and Extended Applications [78.63280020581662]
  スパースビューからの光場再構成のための新しい畳み込みニューラルネットワーク(CNN)ベースのフレームワークを開発した。 最先端のアルゴリズムと比較して,提案フレームワークの高性能と堅牢性を実証する。
  論文  参考訳（メタデータ） (2021-03-24T08:16:32Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)
• DiverseDepth: Affine-invariant Depth Prediction Using Diverse Data [110.29043712400912]
  本稿では,アフィン変換に至るまでの多様なシーンにおける高品質な深度を予測できるモノクロ画像を用いた深度推定手法を提案する。 実験の結果,提案手法は,ゼロショットテスト設定と大差で8つのデータセットの先行手法より優れていた。
  論文  参考訳（メタデータ） (2020-02-03T05:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。