論文の概要: TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view Stereo

• arxiv url: http://arxiv.org/abs/2111.07418v1
• Date: Sun, 14 Nov 2021 19:01:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-16 17:46:42.291901
• Title: TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view Stereo
• Title（参考訳）: TANDEM:Deep Multi-view Stereo を用いたリアルタイムトラッキングとDense Mapping
• Authors: Lukas Koestler, Nan Yang, Niclas Zeller, Daniel Cremers
• Abstract要約: 本稿では,リアルタイムな単分子追跡と高密度フレームワークであるTANDEMを紹介する。 ポーズ推定のために、TANDEMはアライメントのスライディングウィンドウに基づいて光度バンドル調整を行う。 TANDEMは最先端のリアルタイム3D再構成性能を示す。
• 参考スコア（独自算出の注目度）: 55.30992853477754
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present TANDEM a real-time monocular tracking and dense mapping framework. For pose estimation, TANDEM performs photometric bundle adjustment based on a sliding window of keyframes. To increase the robustness, we propose a novel tracking front-end that performs dense direct image alignment using depth maps rendered from a global model that is built incrementally from dense depth predictions. To predict the dense depth maps, we propose Cascade View-Aggregation MVSNet (CVA-MVSNet) that utilizes the entire active keyframe window by hierarchically constructing 3D cost volumes with adaptive view aggregation to balance the different stereo baselines between the keyframes. Finally, the predicted depth maps are fused into a consistent global map represented as a truncated signed distance function (TSDF) voxel grid. Our experimental results show that TANDEM outperforms other state-of-the-art traditional and learning-based monocular visual odometry (VO) methods in terms of camera tracking. Moreover, TANDEM shows state-of-the-art real-time 3D reconstruction performance.
• Abstract（参考訳）: 本稿では,リアルタイムな単分子追跡と高密度マッピングフレームワークTANDEMを提案する。 ポーズ推定のために、タンデムはキーフレームのスライドウィンドウに基づいて測光束調整を行う。 強靭性を高めるために,高密度深度予測から漸進的に構築した大域モデルから描画した深度マップを用いて,高密度直接画像アライメントを行う新しいトラッキングフロントエンドを提案する。 本研究では,3dコストボリュームと適応的ビューアグリゲーションを階層的に構築することにより,キーフレーム間の異なるステレオベースラインのバランスをとることにより,アクティブなキーフレームウィンドウ全体を活用するカスケードビューアグリゲーションmvsnet(cva-mvsnet)を提案する。 最後に、予測された深度マップを、切り離された符号付き距離関数(TSDF)ボクセルグリッドとして表される一貫したグローバルマップに融合する。 実験の結果,TANDEMはカメラトラッキングの点から,従来型および学習型単眼視機能検査(VO)法よりも優れていた。 さらにタンデムは最先端のリアルタイム3d再構成性能を示す。

関連論文リスト

• GEOcc: Geometrically Enhanced 3D Occupancy Network with Implicit-Explicit Depth Fusion and Contextual Self-Supervision [49.839374549646884]
  本稿では,視覚のみのサラウンドビュー知覚に適したジオメトリ強化OccupancyネットワークであるGEOccについて述べる。 提案手法は,Occ3D-nuScenesデータセット上で,画像解像度が最小で,画像バックボーンが最大である状態-Of-The-Art性能を実現する。
  論文  参考訳（メタデータ） (2024-05-17T07:31:20Z)
• MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
  カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。 我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。 また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
  論文  参考訳（メタデータ） (2024-04-01T04:57:41Z)
• SimpleMapping: Real-Time Visual-Inertial Dense Mapping with Deep Multi-View Stereo [13.535871843518953]
  モノクロ画像とIMU読解のみを用いた高画質のリアルタイムビジュアル慣性高密度マッピング法を提案する。 そこで本稿では,VIOシステムから得られる情報的だがノイズの多いスパースポイントを効果的に活用できるスパースポイント支援ステレオニューラルネットワーク(SPA-MVSNet)を提案する。 提案手法は,EuRoCデータセットの難易度評価において,既存システムよりも39.7%のFスコア向上を実現している。
  論文  参考訳（メタデータ） (2023-06-14T17:28:45Z)
• Multi-View Guided Multi-View Stereo [39.116228971420874]
  本稿では,複数の画像フレームから高密度な3次元再構成を実現するための新しいフレームワークを提案する。 ディープ・マルチビューステレオネットワークを前提として,ニューラルネットワークのガイドにはスパース奥行きヒントが使用される。 我々は、最先端の多視点ステレオネットワークにおけるマルチビューガイドフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2022-10-20T17:59:18Z)
• ACDNet: Adaptively Combined Dilated Convolution for Monocular Panorama Depth Estimation [9.670696363730329]
  本研究では,単眼パノラマ画像の深度マップを予測するために,適応的に組み合わせた拡張畳み込みに基づくACDNetを提案する。 仮想および実世界の3つのデータセットで深度推定実験を行い,提案したACDNetが現在最先端(SOTA)手法を大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2021-12-29T08:04:19Z)
• 3DVNet: Multi-View Depth Prediction and Volumetric Refinement [68.68537312256144]
  3DVNetは、新しいマルチビューステレオ(MVS)深度予測法である。 私たちのキーとなるアイデアは、粗い深度予測を反復的に更新する3Dシーンモデリングネットワークを使用することです。 本手法は, 深度予測と3次元再構成の両指標において, 最先端の精度を超えることを示す。
  論文  参考訳（メタデータ） (2021-12-01T00:52:42Z)
• VolumeFusion: Deep Depth Fusion for 3D Scene Reconstruction [71.83308989022635]
  本稿では、ディープニューラルネットワークを用いた従来の2段階フレームワークの複製により、解釈可能性と結果の精度が向上することを提唱する。 ネットワークは,1)深部MVS技術を用いた局所深度マップの局所計算,2)深部マップと画像の特徴を融合させて単一のTSDFボリュームを構築する。 異なる視点から取得した画像間のマッチング性能を改善するために,PosedConvと呼ばれる回転不変な3D畳み込みカーネルを導入する。
  論文  参考訳（メタデータ） (2021-08-19T11:33:58Z)
• OmniSLAM: Omnidirectional Localization and Dense Mapping for Wide-baseline Multi-camera Systems [88.41004332322788]
  超広視野魚眼カメラ(FOV)を用いた広視野多視点ステレオ構成のための全方向位置決めと高密度マッピングシステムを提案する。 より実用的で正確な再構築のために、全方向深度推定のための改良された軽量のディープニューラルネットワークを導入する。 我々は全方位深度推定をビジュアル・オドメトリー(VO)に統合し,大域的整合性のためのループ閉鎖モジュールを付加する。
  論文  参考訳（メタデータ） (2020-03-18T05:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。