論文の概要: Incremental Dense Reconstruction from Monocular Video with Guided Sparse Feature Volume Fusion

• arxiv url: http://arxiv.org/abs/2305.14918v1
• Date: Wed, 24 May 2023 09:06:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 17:42:22.397058
• Title: Incremental Dense Reconstruction from Monocular Video with Guided Sparse Feature Volume Fusion
• Title（参考訳）: ガイド付きスパース容積融合による単眼ビデオからのインクリメンタルデンス再構成
• Authors: Xingxing Zuo, Nan Yang, Nathaniel Merrill, Binbin Xu, Stefan Leutenegger
• Abstract要約: 本報告では, TSDF値のリアルタイムな特徴量に基づく高密度再構成手法を提案し, 新たな深部特徴量からTSDF値を推定する。 不確実性を認識したマルチビューステレオネットワークを利用して、スパース特徴量における物理表面の初期ボクセル位置を推定する。 提案手法は,多くの場合において,より細部でより完全な再構築が可能であることを示す。
• 参考スコア（独自算出の注目度）: 23.984073189849024
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Incrementally recovering 3D dense structures from monocular videos is of paramount importance since it enables various robotics and AR applications. Feature volumes have recently been shown to enable efficient and accurate incremental dense reconstruction without the need to first estimate depth, but they are not able to achieve as high of a resolution as depth-based methods due to the large memory consumption of high-resolution feature volumes. This letter proposes a real-time feature volume-based dense reconstruction method that predicts TSDF (Truncated Signed Distance Function) values from a novel sparsified deep feature volume, which is able to achieve higher resolutions than previous feature volume-based methods, and is favorable in large-scale outdoor scenarios where the majority of voxels are empty. An uncertainty-aware multi-view stereo (MVS) network is leveraged to infer initial voxel locations of the physical surface in a sparse feature volume. Then for refining the recovered 3D geometry, deep features are attentively aggregated from multiview images at potential surface locations, and temporally fused. Besides achieving higher resolutions than before, our method is shown to produce more complete reconstructions with finer detail in many cases. Extensive evaluations on both public and self-collected datasets demonstrate a very competitive real-time reconstruction result for our method compared to state-of-the-art reconstruction methods in both indoor and outdoor settings.
• Abstract（参考訳）: 様々なロボティクスやarアプリケーションを可能にするため、単眼ビデオから3dの高密度構造を段階的に回収することが重要となる。 特徴ボリュームは、最初に深さを見積もる必要なしに、効率的で正確な増分的密度復元を可能にすることが最近示されているが、高分解能特徴ボリュームのメモリ消費が大きいため、深さベースの方法ほど高分解能は達成できない。 本文は,従来の特徴量に基づく手法よりも高分解能を達成できるとともに,ほとんどのボクセルが空である大規模屋外シナリオにおいて好適な,新しい深部特徴量からTSDF(Truncated Signed Distance Function)値を予測する,リアルタイム特徴量に基づく高密度再構成手法を提案する。 不確実性を考慮したマルチビューステレオ(MVS)ネットワークを利用して、物理的表面の初期ボクセル位置をスパース特徴量で推定する。 そして、回収した3次元形状を精錬するために、潜在的な表面位置のマルチビュー画像から深い特徴を注意深く集約し、時間的に融合する。 従来よりも高分解能を実現することに加えて, 多くの場合, 細部まで細部まで, より完全な再構築を行う方法が提案されている。 提案手法は, 屋内と屋外の両方において, 最先端の再建手法と比較して, 極めて競争力のあるリアルタイム再構築手法であることを示す。

関連論文リスト

• HIVE: HIerarchical Volume Encoding for Neural Implicit Surface Reconstruction [37.00102816748563]
  空間情報を明示的に符号化するためのボリュームエンコーディングを導入する。 高分解能ボリュームは、高周波幾何学の詳細をキャプチャする。 低解像度の体積は、形状を滑らかに保つために空間的な一貫性を強制する。 この階層的なボリュームエンコーディングは、プラグ・アンド・プレイモジュールとして任意の暗黙の面再構成法に付加することができる。
  論文  参考訳（メタデータ） (2024-08-03T06:34:20Z)
• UniSDF: Unifying Neural Representations for High-Fidelity 3D Reconstruction of Complex Scenes with Reflections [92.38975002642455]
  大規模な複雑なシーンをリフレクションで再構成できる汎用3次元再構成手法UniSDFを提案する。 提案手法は,複雑な大規模シーンを細部と反射面で頑健に再構築することができる。
  論文  参考訳（メタデータ） (2023-12-20T18:59:42Z)
• Robust Geometry-Preserving Depth Estimation Using Differentiable Rendering [93.94371335579321]
  我々は、余分なデータやアノテーションを必要とせずに、幾何学保存深度を予測するためにモデルを訓練する学習フレームワークを提案する。 包括的な実験は、我々のフレームワークの優れた一般化能力を強調します。 我々の革新的な損失関数は、ドメイン固有のスケール・アンド・シフト係数を自律的に復元するモデルを可能にします。
  論文  参考訳（メタデータ） (2023-09-18T12:36:39Z)
• FineRecon: Depth-aware Feed-forward Network for Detailed 3D Reconstruction [13.157400338544177]
  ポーズ画像からの3次元再構成に関する最近の研究は、深層ニューラルネットワークを用いてシーンレベルの3次元幾何を直接推定できることを実証している。 推論に基づく3次元再構成の忠実度を改善するための有効な3つの方法を提案する。 提案手法はスムーズかつ高精度な再構成を行い,多深度および3次元再構成の指標において顕著な改善が見られた。
  論文  参考訳（メタデータ） (2023-04-04T02:50:29Z)
• VolRecon: Volume Rendering of Signed Ray Distance Functions for Generalizable Multi-View Reconstruction [64.09702079593372]
  VolRecon は Signed Ray Distance Function (SRDF) を用いた新しい一般化可能な暗黙的再構成法である DTUデータセットでは、VolReconはスパースビュー再構築においてSparseNeuSを約30%上回り、フルビュー再構築においてMVSNetと同等の精度を達成する。
  論文  参考訳（メタデータ） (2022-12-15T18:59:54Z)
• MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction [72.05649682685197]
  最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。 これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。 近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
  論文  参考訳（メタデータ） (2022-06-01T17:58:15Z)
• BNV-Fusion: Dense 3D Reconstruction using Bi-level Neural Volume Fusion [85.24673400250671]
  ニューラル・ボリューム・フュージョン (BNV-Fusion) は, ニューラル・暗黙表現とニューラル・レンダリングの最近の進歩を活用して高密度3次元再構成を行う。 新しい深度マップをグローバルな暗黙的表現に漸進的に統合するために、我々は新しい二段階融合戦略を提案する。 提案手法を定量的に定性的に評価し,既存手法よりも有意な改善を示した。
  論文  参考訳（メタデータ） (2022-04-03T19:33:09Z)
• Towards 3D Scene Reconstruction from Locally Scale-Aligned Monocular Video Depth [90.33296913575818]
  映像深度推定や映像からの3次元シーン再構成のようなビデオベースのシナリオでは、フレームごとの予測における未知のスケールとシフトが深度の不整合を引き起こす可能性がある。 局所重み付き線形回帰法を提案する。 提案手法は,複数のゼロショットベンチマークにおいて,既存の最先端手法の性能を50%向上させることができる。
  論文  参考訳（メタデータ） (2022-02-03T08:52:54Z)
• Attention Aware Cost Volume Pyramid Based Multi-view Stereo Network for 3D Reconstruction [12.728154351588053]
  マルチビュー画像から3次元再構成を行うための効率的なマルチビューステレオ(MVS)ネットワークを提案する。 高分解能深度を実現するために粗粒度深度推論戦略を導入する。
  論文  参考訳（メタデータ） (2020-11-25T13:34:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。