論文の概要: Unified Multi-Modal Landmark Tracking for Tightly Coupled Lidar-Visual-Inertial Odometry

• arxiv url: http://arxiv.org/abs/2011.06838v3
• Date: Wed, 17 Feb 2021 11:42:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 00:27:56.793139
• Title: Unified Multi-Modal Landmark Tracking for Tightly Coupled Lidar-Visual-Inertial Odometry
• Title（参考訳）: 密結合Lidar-Visual-Inertial Odometryのための統一多モードランドマーク追跡
• Authors: David Wisth, Marco Camurri, Sandipan Das, Maurice Fallon
• Abstract要約: 視覚,ライダー,慣性情報を協調的に最適化するモバイルプラットフォームのための効率的なマルチセンサ・オドメトリーシステムを提案する。 ライダー点雲から3次元線と平面原始体を抽出する新しい手法を提案する。 システムは、脚のあるロボットによる地下探査や、動的に動くハンドヘルドデバイスによる屋外スキャンなど、さまざまなプラットフォームやシナリオでテストされてきた。
• 参考スコア（独自算出の注目度）: 5.131684964386192
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present an efficient multi-sensor odometry system for mobile platforms that jointly optimizes visual, lidar, and inertial information within a single integrated factor graph. This runs in real-time at full framerate using fixed lag smoothing. To perform such tight integration, a new method to extract 3D line and planar primitives from lidar point clouds is presented. This approach overcomes the suboptimality of typical frame-to-frame tracking methods by treating the primitives as landmarks and tracking them over multiple scans. True integration of lidar features with standard visual features and IMU is made possible using a subtle passive synchronization of lidar and camera frames. The lightweight formulation of the 3D features allows for real-time execution on a single CPU. Our proposed system has been tested on a variety of platforms and scenarios, including underground exploration with a legged robot and outdoor scanning with a dynamically moving handheld device, for a total duration of 96 min and 2.4 km traveled distance. In these test sequences, using only one exteroceptive sensor leads to failure due to either underconstrained geometry (affecting lidar) or textureless areas caused by aggressive lighting changes (affecting vision). In these conditions, our factor graph naturally uses the best information available from each sensor modality without any hard switches.
• Abstract（参考訳）: 本稿では,単一の統合係数グラフ内で視覚,ライダー,慣性情報を共同で最適化する,モバイルプラットフォームのための効率的なマルチセンサオドメトリシステムを提案する。 これは固定ラグスムーシングを使用してフルフレームレートでリアルタイムに実行される。 このような密接な統合を実現するために,ライダーポイント雲から3次元線および平面プリミティブを抽出する新しい手法を提案する。 このアプローチは、プリミティブをランドマークとして扱い、複数のスキャンでそれらを追跡することで、典型的なフレーム間トラッキングメソッドの最適化を克服する。 ライダーとカメラフレームの微妙な同期により、ライダー機能と標準的な視覚機能とIMUの真の統合が可能となる。 3D機能の軽量な定式化により、単一のCPU上でリアルタイム実行が可能になる。 提案システムは,ロボットによる地下探査や動的移動式ハンドヘルドデバイスによる屋外走査など,さまざまなプラットフォームやシナリオで,96分から2.4kmの走行距離で試験されてきた。 これらのテストシーケンスでは、過度に制約された幾何学(ライダーに影響する)と、積極的な照明変化(視覚に影響する)によるテクスチャのない領域のどちらかによって障害が発生する。 これらの条件下では、因子グラフはハードスイッチを使わずに各センサモードから得られる最良の情報を使用する。

関連論文リスト

• MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
  カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。 我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。 また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
  論文  参考訳（メタデータ） (2024-04-01T04:57:41Z)
• Spatio-Temporal Bi-directional Cross-frame Memory for Distractor Filtering Point Cloud Single Object Tracking [2.487142846438629]
  LIDARポイント内の1つのオブジェクトトラッキングは、コンピュータビジョンにおける重要なタスクである。 既存の手法は、ネットワーク経由の外観マッチングのみに依存するか、連続したフレームからの情報を利用するが、重大な課題に遭遇する。 我々は、これらの課題を緩和するために、STMD-Trackerという、革新的なクロスフレームバイテンポラルモーショントラッカーを設計する。
  論文  参考訳（メタデータ） (2024-03-23T13:15:44Z)
• LEAP-VO: Long-term Effective Any Point Tracking for Visual Odometry [52.131996528655094]
  本稿では,LEAP(Long-term Effective Any Point Tracking)モジュールについて述べる。 LEAPは、動的トラック推定のために、視覚的、トラック間、時間的キューと慎重に選択されたアンカーを革新的に組み合わせている。 これらの特徴に基づき,強靭な視力計測システムLEAP-VOを開発した。
  論文  参考訳（メタデータ） (2024-01-03T18:57:27Z)
• Bi-directional Adapter for Multi-modal Tracking [67.01179868400229]
  汎用の双方向アダプタを用いたマルチモーダル視覚プロンプト追跡モデルを提案する。 我々は、モーダリティ固有の情報をあるモーダリティから別のモーダリティへ転送するための、シンプルだが効果的なライト・フィーチャー・アダプタを開発した。 本モデルでは,完全微調整法と素早い学習法の両方と比較して,追跡性能が優れている。
  論文  参考訳（メタデータ） (2023-12-17T05:27:31Z)
• UniTR: A Unified and Efficient Multi-Modal Transformer for Bird's-Eye-View Representation [113.35352122662752]
  屋外3次元知覚のためのマルチモーダルバックボーンUniTRを提案する。 UniTRは、統一されたモデリングと共有パラメータで様々なモダリティを処理する。 UniTRは基本的にタスクに依存しないバックボーンであり、異なる3D知覚タスクを自然にサポートする。
  論文  参考訳（メタデータ） (2023-08-15T12:13:44Z)
• Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
  本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。 各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。 頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-14T02:58:27Z)
• DSVT: Dynamic Sparse Voxel Transformer with Rotated Sets [95.84755169585492]
  本研究では,屋外3次元知覚のためのシングルストライドウィンドウベースのボクセルトランスであるDynamic Sparse Voxel Transformer (DSVT)を提案する。 本モデルでは,3次元認識タスクを多岐にわたって行うことにより,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-01-15T09:31:58Z)
• Balancing the Budget: Feature Selection and Tracking for Multi-Camera Visual-Inertial Odometry [3.441021278275805]
  因子グラフ最適化に基づくマルチカメラビジュアル慣性オドメトリーシステムを提案する。 攻撃的な動きと突然の照明変化を伴う狭い廊下や暗い空間など、困難な環境における動き追跡に焦点をあてる。
  論文  参考訳（メタデータ） (2021-09-13T13:53:09Z)
• DEFT: Detection Embeddings for Tracking [3.326320568999945]
  我々は,DEFT と呼ばれる効率的な関節検出・追跡モデルを提案する。 提案手法は,外見に基づくオブジェクトマッチングネットワークと,下層のオブジェクト検出ネットワークとの協調学習に依存している。 DEFTは2Dオンライントラッキングリーダーボードのトップメソッドに匹敵する精度とスピードを持っている。
  論文  参考訳（メタデータ） (2021-02-03T20:00:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。