論文の概要: Depth-Guided Robust and Fast Point Cloud Fusion NeRF for Sparse Input Views

• arxiv url: http://arxiv.org/abs/2403.02063v1
• Date: Mon, 4 Mar 2024 14:06:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 18:38:50.721067
• Title: Depth-Guided Robust and Fast Point Cloud Fusion NeRF for Sparse Input Views
• Title（参考訳）: スパース入力ビューのための奥行き誘導ロバストと高速点雲融合NeRF
• Authors: Shuai Guo, Qiuwen Wang, Yijie Gao, Rong Xie, Li Song
• Abstract要約: スパース入力ビューによる新しいビュー合成は、AR/VRや自動運転といった現実世界のアプリケーションにとって重要である。 近年の手法では、空間的および幾何学的理解に先立って深度を生かして、スパース入力合成のためのNeRFに深度情報を統合している。 スパース入力のための深度誘導型ロバストで高速な雲融合NeRFを提案する。
• 参考スコア（独自算出の注目度）: 15.290123714015639
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Novel-view synthesis with sparse input views is important for real-world applications like AR/VR and autonomous driving. Recent methods have integrated depth information into NeRFs for sparse input synthesis, leveraging depth prior for geometric and spatial understanding. However, most existing works tend to overlook inaccuracies within depth maps and have low time efficiency. To address these issues, we propose a depth-guided robust and fast point cloud fusion NeRF for sparse inputs. We perceive radiance fields as an explicit voxel grid of features. A point cloud is constructed for each input view, characterized within the voxel grid using matrices and vectors. We accumulate the point cloud of each input view to construct the fused point cloud of the entire scene. Each voxel determines its density and appearance by referring to the point cloud of the entire scene. Through point cloud fusion and voxel grid fine-tuning, inaccuracies in depth values are refined or substituted by those from other views. Moreover, our method can achieve faster reconstruction and greater compactness through effective vector-matrix decomposition. Experimental results underline the superior performance and time efficiency of our approach compared to state-of-the-art baselines.
• Abstract（参考訳）: スパース入力ビューによる新しいビュー合成は、AR/VRや自動運転といった現実世界のアプリケーションにとって重要である。 近年の手法では、空間的および幾何学的理解に先立って深度を生かして、スパース入力合成のためのNeRFに深度情報を統合している。 しかし、既存の作品の多くは深度マップの不正確さを見逃しがちであり、時間効率は低い。 これらの問題に対処するため,スパース入力のための高密度で高速な雲融合NeRFを提案する。 我々は、特徴の明示的なボクセル格子として放射場を知覚する。 入力ビュー毎に点雲を構築し、行列とベクトルを用いてボクセルグリッド内で特徴付けられる。 各入力ビューのポイントクラウドを蓄積して、シーン全体の融合ポイントクラウドを構築します。 各ボクセルはシーン全体の点雲を参照してその密度と外観を決定する。 点雲融合とボクセルグリッド微細調整により、深度値の不正確さは、他の視点によって洗練または置換される。 さらに,効率的なベクトル行列分解により高速な再構成とコンパクト化を実現する。 実験結果は,最先端のベースラインと比較して優れた性能と時間効率を示す。

関連論文リスト

• PointRegGPT: Boosting 3D Point Cloud Registration using Generative Point-Cloud Pairs for Training [90.06520673092702]
  生成点クラウドペアを用いた3Dポイントクラウドの登録をトレーニングのために促進するPointRegGPTを提案する。 我々の知る限り、これは屋内のクラウド登録のためのリアルなデータ生成を探求する最初の生成的アプローチである。
  論文  参考訳（メタデータ） (2024-07-19T06:29:57Z)
• INPC: Implicit Neural Point Clouds for Radiance Field Rendering [5.64500060725726]
  現実世界のシーンを再現し、新しい視点で合成するための新しいアプローチを提案する。 本研究では,連続オクツリー型確率場とマルチ解像度ハッシュグリッドにおける点雲を暗黙的に符号化するハイブリッドシーン表現を提案する。 本手法は,対話的なフレームレートで高速な推論を実現し,さらに性能を高めるために露骨な点雲を抽出することができる。
  論文  参考訳（メタデータ） (2024-03-25T15:26:32Z)
• Voxel or Pillar: Exploring Efficient Point Cloud Representation for 3D Object Detection [49.324070632356296]
  我々は3次元および2次元のスパース畳み込みにより点雲をボクセルと柱の特徴に符号化するスパース・ボクセル・ピラーエンコーダを開発した。 我々の効率的で完全なスパース法は、密度検出器とスパース検出器の両方にシームレスに統合できる。
  論文  参考訳（メタデータ） (2023-04-06T05:00:58Z)
• Learning Neural Volumetric Field for Point Cloud Geometry Compression [13.691147541041804]
  我々は、ニューラルネットワークを学習することで、与えられた点雲の幾何学をコーディングすることを提案する。 空間全体を小さな立方体に分割し,各空でない立方体をニューラルネットワークと入力潜時符号で表現する。 ネットワークは、空間的および時間的冗長性を利用するために、1つのフレームまたは複数のフレームで全ての立方体間で共有される。
  論文  参考訳（メタデータ） (2022-12-11T19:55:24Z)
• CAP-UDF: Learning Unsigned Distance Functions Progressively from Raw Point Clouds with Consistency-Aware Field Optimization [54.69408516025872]
  CAP-UDFは、生の点雲から一貫性を考慮したUDFを学ぶための新しい方法である。 我々は、クエリと近似曲面の関係を徐々に推測するようにニューラルネットワークを訓練する。 学習されたUDFの勾配を用いて表面を抽出する多角化アルゴリズムも導入する。
  論文  参考訳（メタデータ） (2022-10-06T08:51:08Z)
• MAPLE: Masked Pseudo-Labeling autoEncoder for Semi-supervised Point Cloud Action Recognition [160.49403075559158]
  本稿では,Pseudo-Labeling autoEncoder (textbfMAPLE) フレームワークを提案する。 特に、MAPLEのバックボーンとして、新規で効率的なtextbfDecoupled textbfspatial-textbftemporal TranstextbfFormer(textbfDestFormer)を設計する。 MAPLEは3つの公開ベンチマークにおいて優れた結果を得て、MSR-Action3の精度を8.08%向上させる。
  論文  参考訳（メタデータ） (2022-09-01T12:32:40Z)
• Temporal Point Cloud Completion with Pose Disturbance [32.536545112645335]
  限られた翻訳と回転によるポーズ乱れを伴うスパース入力から完全点雲を提供する。 また、時間情報を用いて完了モデルを強化し、入力シーケンスで出力を精算する。 我々のフレームワークは、時間的情報を利用して、限られた変換で時間的一貫性を確保する最初のフレームワークです。
  論文  参考訳（メタデータ） (2022-02-07T11:41:12Z)
• Voxel-based Network for Shape Completion by Leveraging Edge Generation [76.23436070605348]
  エッジ生成(VE-PCN)を利用した点雲補完のためのボクセルネットワークを開発した。 まず点雲を正規のボクセル格子に埋め込み、幻覚した形状のエッジの助けを借りて完全な物体を生成する。 この分離されたアーキテクチャとマルチスケールのグリッド機能学習は、より現実的な表面上の詳細を生成することができる。
  論文  参考訳（メタデータ） (2021-08-23T05:10:29Z)
• SSPU-Net: Self-Supervised Point Cloud Upsampling via Differentiable Rendering [21.563862632172363]
  地中真理を使わずに高密度の点雲を生成するための自己教師付き点雲アップサンプリングネットワーク(SSPU-Net)を提案する。 これを実現するために,入力スパース点雲と高密度点雲との整合性を利用して画像の形状と描画を行う。
  論文  参考訳（メタデータ） (2021-08-01T13:26:01Z)
• Pseudo-LiDAR Point Cloud Interpolation Based on 3D Motion Representation and Spatial Supervision [68.35777836993212]
  我々はPseudo-LiDAR点雲ネットワークを提案し、時間的および空間的に高品質な点雲列を生成する。 点雲間のシーンフローを活用することにより,提案ネットワークは3次元空間運動関係のより正確な表現を学習することができる。
  論文  参考訳（メタデータ） (2020-06-20T03:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。