論文の概要: BlinkTrack: Feature Tracking over 100 FPS via Events and Images

• arxiv url: http://arxiv.org/abs/2409.17981v1
• Date: Thu, 26 Sep 2024 15:54:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-28 16:26:02.259061
• Title: BlinkTrack: Feature Tracking over 100 FPS via Events and Images
• Title（参考訳）: BlinkTrack: イベントとイメージによる100FPS以上の機能追跡
• Authors: Yichen Shen, Yijin Li, Shuo Chen, Guanglin Li, Zhaoyang Huang, Hujun Bao, Zhaopeng Cui, Guofeng Zhang,
• Abstract要約: 本稿では,RGB画像とイベントデータを統合した新しいフレームワークであるBlinkTrackを提案する。 本手法は,従来のカルマンフィルタを学習ベースのフレームワークに拡張し,イベントおよびイメージの分岐において微分可能なカルマンフィルタを利用する。 実験の結果、BlinkTrackは既存のイベントベースの手法よりも大幅に優れていた。
• 参考スコア（独自算出の注目度）: 50.98675227695814
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feature tracking is crucial for, structure from motion (SFM), simultaneous localization and mapping (SLAM), object tracking and various computer vision tasks. Event cameras, known for their high temporal resolution and ability to capture asynchronous changes, have gained significant attention for their potential in feature tracking, especially in challenging conditions. However, event cameras lack the fine-grained texture information that conventional cameras provide, leading to error accumulation in tracking. To address this, we propose a novel framework, BlinkTrack, which integrates event data with RGB images for high-frequency feature tracking. Our method extends the traditional Kalman filter into a learning-based framework, utilizing differentiable Kalman filters in both event and image branches. This approach improves single-modality tracking, resolves ambiguities, and supports asynchronous data fusion. We also introduce new synthetic and augmented datasets to better evaluate our model. Experimental results indicate that BlinkTrack significantly outperforms existing event-based methods, exceeding 100 FPS with preprocessed event data and 80 FPS with multi-modality data.
• Abstract（参考訳）: 特徴追跡は、動きからの構造化(SFM)、同時位置決めとマッピング(SLAM)、オブジェクト追跡、様々なコンピュータビジョンタスクにおいて重要である。 イベントカメラは、高時間分解能と非同期な変更をキャプチャする能力で知られており、特に困難な状況において、機能トラッキングの可能性に大きな注目を集めている。 しかし、イベントカメラは従来のカメラが提供するきめ細かいテクスチャ情報に欠けており、トラッキングにおけるエラーの蓄積につながっている。 そこで本稿では,RGB画像とイベントデータを統合した新しいフレームワークであるBlinkTrackを提案する。 本手法は,従来のカルマンフィルタを学習ベースのフレームワークに拡張し,イベントおよびイメージの分岐において微分可能なカルマンフィルタを利用する。 このアプローチは単一モダリティトラッキングを改善し、あいまいさを解消し、非同期データ融合をサポートする。 また、我々のモデルを評価するために、新しい合成および拡張データセットも導入する。 実験結果から,BlinkTrackは,前処理したイベントデータで100FPS,マルチモーダリティデータで80FPSを超え,既存のイベントベース手法よりも大幅に優れていた。

関連論文リスト

• DATAP-SfM: Dynamic-Aware Tracking Any Point for Robust Structure from Motion in the Wild [85.03973683867797]
  本稿では,スムーズなカメラ軌跡を推定し,野生のカジュアルビデオのための高密度点雲を得るための,簡潔でエレガントでロバストなパイプラインを提案する。 提案手法は,複雑な動的課題シーンにおいても,カメラポーズ推定による最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-20T13:01:16Z)
• Tracking Any Point with Frame-Event Fusion Network at High Frame Rate [16.749590397918574]
  本稿では,イメージイベント融合点トラッカー FE-TAP を提案する。 画像フレームからのコンテキスト情報と、イベントの高時間分解能を組み合わせる。 FE-TAPは様々な困難条件下で高いフレームレートとロバストな点追跡を実現する。
  論文  参考訳（メタデータ） (2024-09-18T13:07:19Z)
• SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
  SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。 SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
  論文  参考訳（メタデータ） (2023-09-29T05:13:43Z)
• Frame-Event Alignment and Fusion Network for High Frame Rate Tracking [37.35823883499189]
  既存のRGBベースのトラッカーのほとんどは、毎秒約30フレームの低フレームレートベンチマークをターゲットにしている。 マルチモーダリティアライメントと融合モジュールからなるエンドツーエンドネットワークを提案する。 FE240hzデータセットを用いることで,240Hzまでのフレーム速度の追跡が可能となる。
  論文  参考訳（メタデータ） (2023-05-25T03:34:24Z)
• Data-driven Feature Tracking for Event Cameras [48.04815194265117]
  グレースケールフレームで検出された特徴を追跡するために、低レイテンシイベントを活用するイベントカメラのための、最初のデータ駆動機能トラッカーを紹介した。 合成データから実データに直接ゼロショットを転送することで、我々のデータ駆動トラッカーは、相対的特徴年齢における既存のアプローチを最大120%向上させる。 この性能ギャップはさらに130%増加し、トラッカーを新たな自己超越戦略で実データに適用する。
  論文  参考訳（メタデータ） (2022-11-23T10:20:11Z)
• Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
  イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。 イベントベースビジュアル・オドメトリー(VO)に焦点をあてる 動作最適化のバックエンドとして非同期構造を提案する。
  論文  参考訳（メタデータ） (2022-03-02T11:28:47Z)
• VisEvent: Reliable Object Tracking via Collaboration of Frame and Event Flows [93.54888104118822]
  このタスクには現実的でスケールしたデータセットがないため、大規模なVisible-Eventベンチマーク(VisEventと呼ぶ)を提案する。 私たちのデータセットは、低照度、高速、背景乱雑なシナリオ下でキャプチャされた820のビデオペアで構成されています。 VisEventに基づいて、イベントフローをイベントイメージに変換し、30以上のベースラインメソッドを構築します。
  論文  参考訳（メタデータ） (2021-08-11T03:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。