論文の概要: Event-based Tracking of Any Point with Motion-Robust Correlation Features

• arxiv url: http://arxiv.org/abs/2412.00133v1
• Date: Thu, 28 Nov 2024 15:13:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:47:33.891794
• Title: Event-based Tracking of Any Point with Motion-Robust Correlation Features
• Title（参考訳）: モーション・ロバスト相関特徴を持つ任意の点のイベントベース追跡
• Authors: Friedhelm Hamann, Daniel Gehrig, Filbert Febryanto, Kostas Daniilidis, Guillermo Gallego,
• Abstract要約: 任意の点の追跡(TAP)は、最近、局所的なテンプレートで個々の有意点に着目し、グローバルな画像コンテキストで任意の点を追跡するように、動き推定パラダイムをシフトした。 この研究は、最初のイベントカメラベースのTAP方式でこの問題に対処する。 これは、高時間分解能と高ダイナミックレンジのイベントカメラを活用して、堅牢な高速トラッキングと、非同期かつスパースなイベント計測を扱うTAPメソッドのグローバルコンテキストを利用する。
• 参考スコア（独自算出の注目度）: 38.04329251662903
• License:
• Abstract: Tracking any point (TAP) recently shifted the motion estimation paradigm from focusing on individual salient points with local templates to tracking arbitrary points with global image contexts. However, while research has mostly focused on driving the accuracy of models in nominal settings, addressing scenarios with difficult lighting conditions and high-speed motions remains out of reach due to the limitations of the sensor. This work addresses this challenge with the first event camera-based TAP method. It leverages the high temporal resolution and high dynamic range of event cameras for robust high-speed tracking, and the global contexts in TAP methods to handle asynchronous and sparse event measurements. We further extend the TAP framework to handle event feature variations induced by motion - thereby addressing an open challenge in purely event-based tracking - with a novel feature alignment loss which ensures the learning of motion-robust features. Our method is trained with data from a new data generation pipeline and systematically ablated across all design decisions. Our method shows strong cross-dataset generalization and performs 135% better on the average Jaccard metric than the baselines. Moreover, on an established feature tracking benchmark, it achieves a 19% improvement over the previous best event-only method and even surpasses the previous best events-and-frames method by 3.7%.
• Abstract（参考訳）: 任意の点の追跡(TAP)は、最近、局所的なテンプレートで個々の有意点に着目し、グローバルな画像コンテキストで任意の点を追跡するように、動き推定パラダイムをシフトした。 しかし、研究は主に名目上の設定でモデルの精度を向上させることに焦点を当てているが、センサーの限界のため、困難な照明条件や高速動作を伴うシナリオには到達できない。 この研究は、最初のイベントカメラベースのTAP方式でこの問題に対処する。 これは、高時間分解能と高ダイナミックレンジのイベントカメラを活用して、堅牢な高速トラッキングと、非同期かつスパースなイベント計測を扱うTAPメソッドのグローバルコンテキストを利用する。 さらに,動作によって引き起こされるイベント特徴の変動を扱うために,TAPフレームワークを拡張した。これにより,純粋なイベントベースのトラッキングにおいてオープンな課題に対処することが可能になる。 我々の手法は、新しいデータ生成パイプラインのデータで訓練され、すべての設計決定を体系的に改善する。 提案手法は, データベース間の強い一般化を示し, ベースラインよりも平均ジャカード距離が135%向上している。 さらに、確立された機能トラッキングベンチマークでは、前回のベストイベントオンリーメソッドよりも19%改善され、前回のベストイベントアンドフレームメソッドを3.7%上回っている。

関連論文リスト

• ESVO2: Direct Visual-Inertial Odometry with Stereo Event Cameras [33.81592783496106]
  イベントベースのビジュアルオドメトリーは、トラッキングとサブプロブレムを並列にマッピングすることを目的としている。 イベントベースのステレオビジュアル慣性オドメトリーシステムを構築した。
  論文  参考訳（メタデータ） (2024-10-12T05:35:27Z)
• Solution for Point Tracking Task of ICCV 1st Perception Test Challenge 2023 [50.910598799408326]
  Tracking Any Point (TAP) タスクは、ビデオを通じて任意の物理的表面を追跡する。 既存のいくつかのアプローチは、スムーズな運動軌跡を得るための時間的関係を考慮し、TAPを探索してきた。 我々は,静的カメラが撮影したビデオの静的点追跡の修正に焦点を当てた,信頼度の高い静的点付きTAP(TAPIR+)を提案する。
  論文  参考訳（メタデータ） (2024-03-26T13:50:39Z)
• Continuous-Time Gaussian Process Motion-Compensation for Event-vision Pattern Tracking with Distance Fields [4.168157981135697]
  本研究は,イベントカメラデータにおける動き補償とパターン追跡の問題に対処する。 提案手法は、追跡問題を局所的なSE(2)運動補償ステップに分解し、その後、小さな動き補償イベントバッチのホモグラフィー登録を行う。 我々のオープンソース実装は高精度な動作補償を行い、実世界のシナリオで高品質なトラックを生成する。
  論文  参考訳（メタデータ） (2023-03-05T13:48:20Z)
• Data-driven Feature Tracking for Event Cameras [48.04815194265117]
  グレースケールフレームで検出された特徴を追跡するために、低レイテンシイベントを活用するイベントカメラのための、最初のデータ駆動機能トラッカーを紹介した。 合成データから実データに直接ゼロショットを転送することで、我々のデータ駆動トラッカーは、相対的特徴年齢における既存のアプローチを最大120%向上させる。 この性能ギャップはさらに130%増加し、トラッカーを新たな自己超越戦略で実データに適用する。
  論文  参考訳（メタデータ） (2022-11-23T10:20:11Z)
• Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
  イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。 イベントベースビジュアル・オドメトリー(VO)に焦点をあてる 動作最適化のバックエンドとして非同期構造を提案する。
  論文  参考訳（メタデータ） (2022-03-02T11:28:47Z)
• Asynchronous Tracking-by-Detection on Adaptive Time Surfaces for Event-based Object Tracking [87.0297771292994]
  本稿では,イベントベースのトラッキング・バイ・ディテクト(ETD)手法を提案する。 この目的を達成するために,線形時間決定(ATSLTD)イベント・ツー・フレーム変換アルゴリズムを用いた適応時間曲面を提案する。 提案手法と,従来のカメラやイベントカメラをベースとした7種類のオブジェクト追跡手法と,ETDの2種類のバリエーションを比較した。
  論文  参考訳（メタデータ） (2020-02-13T15:58:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。