論文の概要: SimpleMapping: Real-Time Visual-Inertial Dense Mapping with Deep Multi-View Stereo

• arxiv url: http://arxiv.org/abs/2306.08648v3
• Date: Sun, 27 Aug 2023 11:52:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 23:24:59.158916
• Title: SimpleMapping: Real-Time Visual-Inertial Dense Mapping with Deep Multi-View Stereo
• Title（参考訳）: simplemapping: ディープマルチビューステレオを用いたリアルタイム視覚慣性密集マッピング
• Authors: Yingye Xin, Xingxing Zuo, Dongyue Lu, Stefan Leutenegger
• Abstract要約: モノクロ画像とIMU読解のみを用いた高画質のリアルタイムビジュアル慣性高密度マッピング法を提案する。 そこで本稿では,VIOシステムから得られる情報的だがノイズの多いスパースポイントを効果的に活用できるスパースポイント支援ステレオニューラルネットワーク(SPA-MVSNet)を提案する。 提案手法は,EuRoCデータセットの難易度評価において,既存システムよりも39.7%のFスコア向上を実現している。
• 参考スコア（独自算出の注目度）: 13.535871843518953
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a real-time visual-inertial dense mapping method capable of performing incremental 3D mesh reconstruction with high quality using only sequential monocular images and inertial measurement unit (IMU) readings. 6-DoF camera poses are estimated by a robust feature-based visual-inertial odometry (VIO), which also generates noisy sparse 3D map points as a by-product. We propose a sparse point aided multi-view stereo neural network (SPA-MVSNet) that can effectively leverage the informative but noisy sparse points from the VIO system. The sparse depth from VIO is firstly completed by a single-view depth completion network. This dense depth map, although naturally limited in accuracy, is then used as a prior to guide our MVS network in the cost volume generation and regularization for accurate dense depth prediction. Predicted depth maps of keyframe images by the MVS network are incrementally fused into a global map using TSDF-Fusion. We extensively evaluate both the proposed SPA-MVSNet and the entire visual-inertial dense mapping system on several public datasets as well as our own dataset, demonstrating the system's impressive generalization capabilities and its ability to deliver high-quality 3D mesh reconstruction online. Our proposed dense mapping system achieves a 39.7% improvement in F-score over existing systems when evaluated on the challenging scenarios of the EuRoC dataset.
• Abstract（参考訳）: 逐次単眼画像と慣性測定ユニット(IMU)のみを用いて高画質の3次元メッシュ再構成を行うことができるリアルタイムビジュアル慣性高密度マッピング法を提案する。 6-DoFカメラのポーズは、頑健な特徴に基づく視覚慣性計測(VIO)によって推定され、ノイズの多い3Dマップポイントを副産物として生成する。 本稿では,vioシステムから有益だがノイズの多いスパースポイントを効果的に活用できるスパースポイント支援マルチビューステレオニューラルネットワーク(spa-mvsnet)を提案する。 VIOからのスパース深度は、まず、シングルビュー深度完了ネットワークによって完了する。 この濃厚深さマップは、当然精度は限られているが、mvsネットワークのコストボリューム生成と正確な濃密深さ予測のための正規化を導くために、前もって使用される。 MVSネットワークによるキーフレーム画像の予測深度マップをTSDF-Fusionを用いてグローバルマップにインクリメンタルに融合する。 提案するspa-mvsnetと,複数の公開データセット上での視覚慣性的高密度マッピングシステムと,我々のデータセットの両方を評価し,システムの印象的な一般化能力と高品質な3dメッシュ再構成をオンラインで提供する能力を示した。 提案手法は,EuRoCデータセットの難易度評価において,既存システムよりも39.7%のFスコア向上を実現している。

関連論文リスト

• SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and Quasi-Planar Segmentation [53.83313235792596]
  本稿では,RGB-Dシーケンスからのリアルタイム意味マッピングのための新しい手法を提案する。 2DニューラルネットワークとSLAMシステムに基づく3Dネットワークと3D占有マッピングを組み合わせる。 本システムは,2D-3Dネットワークベースシステムにおいて,最先端のセマンティックマッピング品質を実現する。
  論文  参考訳（メタデータ） (2023-06-28T22:36:44Z)
• Multi-View Guided Multi-View Stereo [39.116228971420874]
  本稿では,複数の画像フレームから高密度な3次元再構成を実現するための新しいフレームワークを提案する。 ディープ・マルチビューステレオネットワークを前提として,ニューラルネットワークのガイドにはスパース奥行きヒントが使用される。 我々は、最先端の多視点ステレオネットワークにおけるマルチビューガイドフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2022-10-20T17:59:18Z)
• DeepFusion: Real-Time Dense 3D Reconstruction for Monocular SLAM using Single-View Depth and Gradient Predictions [22.243043857097582]
  DeepFusionは、GPU上でリアルタイムに高密度な再構成を生成することができる。 半密度多視点ステレオアルゴリズムの出力とCNNの深さと予測を確率的に融合する。 合成および実世界のデータセットのパフォーマンスに基づいて、DeepFusionは、少なくとも他の同等のシステムと同様に、実行可能であることを実証する。
  論文  参考訳（メタデータ） (2022-07-25T14:55:26Z)
• 3DVNet: Multi-View Depth Prediction and Volumetric Refinement [68.68537312256144]
  3DVNetは、新しいマルチビューステレオ(MVS)深度予測法である。 私たちのキーとなるアイデアは、粗い深度予測を反復的に更新する3Dシーンモデリングネットワークを使用することです。 本手法は, 深度予測と3次元再構成の両指標において, 最先端の精度を超えることを示す。
  論文  参考訳（メタデータ） (2021-12-01T00:52:42Z)
• TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view Stereo [55.30992853477754]
  本稿では,リアルタイムな単分子追跡と高密度フレームワークであるTANDEMを紹介する。 ポーズ推定のために、TANDEMはアライメントのスライディングウィンドウに基づいて光度バンドル調整を行う。 TANDEMは最先端のリアルタイム3D再構成性能を示す。
  論文  参考訳（メタデータ） (2021-11-14T19:01:02Z)
• VolumeFusion: Deep Depth Fusion for 3D Scene Reconstruction [71.83308989022635]
  本稿では、ディープニューラルネットワークを用いた従来の2段階フレームワークの複製により、解釈可能性と結果の精度が向上することを提唱する。 ネットワークは,1)深部MVS技術を用いた局所深度マップの局所計算,2)深部マップと画像の特徴を融合させて単一のTSDFボリュームを構築する。 異なる視点から取得した画像間のマッチング性能を改善するために,PosedConvと呼ばれる回転不変な3D畳み込みカーネルを導入する。
  論文  参考訳（メタデータ） (2021-08-19T11:33:58Z)
• PLADE-Net: Towards Pixel-Level Accuracy for Self-Supervised Single-View Depth Estimation with Neural Positional Encoding and Distilled Matting Loss [49.66736599668501]
  PLADE-Netと呼ばれる自己監視型単視点画素レベルの高精度深度推定ネットワークを提案する。 提案手法は,KITTIデータセットの$delta1$測定値の95%を超え,前例のない精度を示す。
  論文  参考訳（メタデータ） (2021-03-12T15:54:46Z)
• OmniSLAM: Omnidirectional Localization and Dense Mapping for Wide-baseline Multi-camera Systems [88.41004332322788]
  超広視野魚眼カメラ(FOV)を用いた広視野多視点ステレオ構成のための全方向位置決めと高密度マッピングシステムを提案する。 より実用的で正確な再構築のために、全方向深度推定のための改良された軽量のディープニューラルネットワークを導入する。 我々は全方位深度推定をビジュアル・オドメトリー(VO)に統合し,大域的整合性のためのループ閉鎖モジュールを付加する。
  論文  参考訳（メタデータ） (2020-03-18T05:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。