論文の概要: LEAP-VO: Long-term Effective Any Point Tracking for Visual Odometry

• arxiv url: http://arxiv.org/abs/2401.01887v2
• Date: Wed, 12 Jun 2024 15:36:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 23:13:33.903267
• Title: LEAP-VO: Long-term Effective Any Point Tracking for Visual Odometry
• Title（参考訳）: LEAP-VO:ビジュアルオドメトリーにおける長期有効点追跡
• Authors: Weirong Chen, Le Chen, Rui Wang, Marc Pollefeys,
• Abstract要約: 本稿では,LEAP(Long-term Effective Any Point Tracking)モジュールについて述べる。 LEAPは、動的トラック推定のために、視覚的、トラック間、時間的キューと慎重に選択されたアンカーを革新的に組み合わせている。 これらの特徴に基づき,強靭な視力計測システムLEAP-VOを開発した。
• 参考スコア（独自算出の注目度）: 52.131996528655094
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual odometry estimates the motion of a moving camera based on visual input. Existing methods, mostly focusing on two-view point tracking, often ignore the rich temporal context in the image sequence, thereby overlooking the global motion patterns and providing no assessment of the full trajectory reliability. These shortcomings hinder performance in scenarios with occlusion, dynamic objects, and low-texture areas. To address these challenges, we present the Long-term Effective Any Point Tracking (LEAP) module. LEAP innovatively combines visual, inter-track, and temporal cues with mindfully selected anchors for dynamic track estimation. Moreover, LEAP's temporal probabilistic formulation integrates distribution updates into a learnable iterative refinement module to reason about point-wise uncertainty. Based on these traits, we develop LEAP-VO, a robust visual odometry system adept at handling occlusions and dynamic scenes. Our mindful integration showcases a novel practice by employing long-term point tracking as the front-end. Extensive experiments demonstrate that the proposed pipeline significantly outperforms existing baselines across various visual odometry benchmarks.
• Abstract（参考訳）: 視覚オドメトリーは、視覚入力に基づいて動くカメラの動きを推定する。 既存の手法は、主に2視点の点追跡に重点を置いており、画像シーケンスのリッチな時間的文脈を無視して、大域的な動きパターンを見渡すことがあり、完全な軌道の信頼性を評価できない。 これらの欠点は、隠蔽、動的オブジェクト、低テクスチャ領域を持つシナリオのパフォーマンスを妨げます。 これらの課題に対処するため、Long-term Effective Any Point Tracking (LEAP) モジュールを提示する。 LEAPは、動的トラック推定のために、視覚的、トラック間、時間的キューと慎重に選択されたアンカーを革新的に組み合わせている。 さらに、LEAPの時間確率的定式化は、分布の更新を学習可能な反復修正モジュールに統合し、ポイントワイドの不確実性について推論する。 これらの特徴に基づき,強靭な視力計測システムLEAP-VOを開発した。 私たちのマインドフルな統合は、フロントエンドとして長期的なポイントトラッキングを採用することで、新しいプラクティスを示します。 大規模な実験により、提案されたパイプラインは、様々なビジュアルオドメトリーベンチマークで既存のベースラインを大幅に上回っていることが示された。

関連論文リスト

• Cyclic Refiner: Object-Aware Temporal Representation Learning for Multi-View 3D Detection and Tracking [37.186306646752975]
  マルチビュー3次元検出・追跡タスクのための統合オブジェクト認識時間学習フレームワークを提案する。 提案モデルでは,異なる設計のベースラインよりも一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2024-07-03T16:10:19Z)
• ACTrack: Adding Spatio-Temporal Condition for Visual Object Tracking [0.5371337604556311]
  視覚的物体追跡(VOT)において,物体の時間的関係を効果的にモデル化することが重要な課題である 既存の手法は外観に基づく類似性や長期関係モデリングによって追跡され、連続するフレーム間の時間的コンテキストは容易に見過ごされてしまう。 本稿では,大規模な記憶条件を持つ付加的前時間追跡フレームワークであるACTrackについて述べる。このフレームワークは,そのパラメータを凍結することにより,トレーニング済みバックボーンの品質と性能を保ち,トラッキングにおける時間関係をモデル化するためのトレーニング可能な軽量付加性ネットを作成する。 我々は空間的特徴と時間的順序の整合性を確保するための付加的なシアム畳み込みネットワークを設計する。
  論文  参考訳（メタデータ） (2024-02-27T07:34:08Z)
• Learning Monocular Depth in Dynamic Environment via Context-aware Temporal Attention [9.837958401514141]
  マルチフレーム単眼深度推定のためのコンテキスト対応テンポラルアテンション誘導ネットワークであるCTA-Depthを提案する。 提案手法は,3つのベンチマークデータセットに対する最先端アプローチよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-05-12T11:48:32Z)
• Unsupervised Learning Optical Flow in Multi-frame Dynamic Environment Using Temporal Dynamic Modeling [7.111443975103329]
  本稿では,動的シーンの複数フレーム列からの光フロー推定について検討する。 隣接フレームの動作先を用いて、閉鎖領域のより信頼性の高い監視を行う。 KITTI 2012、KITTI 2015、Sintel Clean、Sintel Finalデータセットの実験は、我々の手法の有効性を実証している。
  論文  参考訳（メタデータ） (2023-04-14T14:32:02Z)
• MotionTrack: Learning Robust Short-term and Long-term Motions for Multi-Object Tracking [56.92165669843006]
  本研究では,短時間から長期間の軌跡を関連づける統合フレームワークで,堅牢な短期・長期動作を学習するMotionTrackを提案する。 密集した群集に対して,各ターゲットの複雑な動きを推定できる,短時間の軌跡から相互作用認識動作を学習するための新しい対話モジュールを設計する。 極端なオクルージョンのために、ターゲットの履歴軌跡から信頼できる長期動作を学習するための新しいRefind Moduleを構築し、中断された軌跡とそれに対応する検出とを関連付けることができる。
  論文  参考訳（メタデータ） (2023-03-18T12:38:33Z)
• Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
  本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。 各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。 頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-14T02:58:27Z)
• Continuity-Discrimination Convolutional Neural Network for Visual Object Tracking [150.51667609413312]
  本稿では,視覚オブジェクト追跡のためのContinuity-Discrimination Convolutional Neural Network (CD-CNN) という新しいモデルを提案する。 この問題に対処するため、cd-cnnは時間的遅れの概念に基づいた時間的外観連続性をモデル化する。 不正確なターゲットの定位とドリフトを緩和するために,新しい概念 object-centroid を提案する。
  論文  参考訳（メタデータ） (2021-04-18T06:35:03Z)
• Learning to Track with Object Permanence [61.36492084090744]
  共同物体の検出と追跡のためのエンドツーエンドのトレーニング可能なアプローチを紹介します。 私たちのモデルは、合成データと実データで共同トレーニングされ、KITTIおよびMOT17データセットの最先端を上回ります。
  論文  参考訳（メタデータ） (2021-03-26T04:43:04Z)
• Robust Ego and Object 6-DoF Motion Estimation and Tracking [5.162070820801102]
  本稿では,動的多体視覚計測における高精度な推定と一貫した追跡性を実現するためのロバストな解を提案する。 セマンティック・インスタンスレベルのセグメンテーションと正確な光フロー推定の最近の進歩を活用して、コンパクトで効果的なフレームワークを提案する。 追従点の品質と運動推定精度を向上させる新しい定式化SE(3)運動と光流が導入された。
  論文  参考訳（メタデータ） (2020-07-28T05:12:56Z)
• Object Tracking through Residual and Dense LSTMs [67.98948222599849]
  LSTM(Long Short-Term Memory)リカレントニューラルネットワークに基づくディープラーニングベースのトラッカーが、強力な代替手段として登場した。 DenseLSTMはResidualおよびRegular LSTMより優れ、ニュアンセに対する高いレジリエンスを提供する。 ケーススタディは、他のトラッカーの堅牢性を高めるために残差ベースRNNの採用を支援する。
  論文  参考訳（メタデータ） (2020-06-22T08:20:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。