論文の概要: BlinkTrack: Feature Tracking over 80 FPS via Events and Images
- arxiv url: http://arxiv.org/abs/2409.17981v2
- Date: Thu, 31 Jul 2025 18:26:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-04 18:08:53.418227
- Title: BlinkTrack: Feature Tracking over 80 FPS via Events and Images
- Title（参考訳）: BlinkTrack: イベントとイメージによる80FPS以上の機能追跡
- Authors: Yichen Shen, Yijin Li, Shuo Chen, Guanglin Li, Zhaoyang Huang, Hujun Bao, Zhaopeng Cui, Guofeng Zhang,
- Abstract要約: 本稿では,イベントデータをグレースケール画像と統合して高周波数特徴追跡を行う新しいフレームワークであるBlinkTrackを提案する。
本手法は,従来のカルマンフィルタを学習ベースのフレームワークに拡張し,イベントおよびイメージの分岐において微分可能なカルマンフィルタを利用する。
実験結果から,BlinkTrackは,マルチモーダリティデータで80FPS,プリプロセッシングイベントデータで100FPS,既存手法ではかなり優れていた。
- 参考スコア（独自算出の注目度）: 50.98675227695814
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras, known for their high temporal resolution and ability to capture asynchronous changes, have gained significant attention for their potential in feature tracking, especially in challenging conditions. However, event cameras lack the fine-grained texture information that conventional cameras provide, leading to error accumulation in tracking. To address this, we propose a novel framework, BlinkTrack, which integrates event data with grayscale images for high-frequency feature tracking. Our method extends the traditional Kalman filter into a learning-based framework, utilizing differentiable Kalman filters in both event and image branches. This approach improves single-modality tracking and effectively solves the data association and fusion from asynchronous event and image data. We also introduce new synthetic and augmented datasets to better evaluate our model. Experimental results indicate that BlinkTrack significantly outperforms existing methods, exceeding 80 FPS with multi-modality data and 100 FPS with preprocessed event data. Codes and dataset are available at https://github.com/ColieShen/BlinkTrack.
- Abstract（参考訳）: イベントカメラは、高時間分解能と非同期な変更を捉える能力で知られており、特に困難な状況において、機能トラッキングの可能性に大きな注目を集めている。
しかし、イベントカメラは従来のカメラが提供するきめ細かいテクスチャ情報に欠けており、トラッキングにおけるエラーの蓄積につながっている。
そこで本稿では,イベントデータとグレースケール画像を統合した新しいフレームワークであるBlinkTrackを提案する。
本手法は,従来のカルマンフィルタを学習ベースのフレームワークに拡張し,イベントおよびイメージの分岐において微分可能なカルマンフィルタを利用する。
このアプローチは、単一モダリティトラッキングを改善し、非同期イベントと画像データからのデータ関連と融合を効果的に解決する。
また、我々のモデルを評価するために、新しい合成および拡張データセットも導入する。
実験結果から,BlinkTrackは,マルチモーダリティデータで80FPS,プリプロセッシングイベントデータで100FPS,既存手法ではかなり優れていた。
コードとデータセットはhttps://github.com/ColieShen/BlinkTrack.comで入手できる。
関連論文リスト
- What You Have is What You Track: Adaptive and Robust Multimodal Tracking [72.92244578461869]
本研究では,時間的に不完全なマルチモーダルデータを用いたトラッカー性能に関する総合的研究を行った。
我々のモデルは9つのベンチマークでSOTA性能を達成し、従来の完全性と欠落したモダリティ設定の両方で優れている。
論文 参考訳（メタデータ） (2025-07-08T11:40:21Z) - DATAP-SfM: Dynamic-Aware Tracking Any Point for Robust Structure from Motion in the Wild [85.03973683867797]
本稿では,スムーズなカメラ軌跡を推定し,野生のカジュアルビデオのための高密度点雲を得るための,簡潔でエレガントでロバストなパイプラインを提案する。
提案手法は,複雑な動的課題シーンにおいても,カメラポーズ推定による最先端性能を実現する。
論文 参考訳（メタデータ） (2024-11-20T13:01:16Z) - Tracking Any Point with Frame-Event Fusion Network at High Frame Rate [16.749590397918574]
本稿では,イメージイベント融合点トラッカー FE-TAP を提案する。
画像フレームからのコンテキスト情報と、イベントの高時間分解能を組み合わせる。
FE-TAPは様々な困難条件下で高いフレームレートとロバストな点追跡を実現する。
論文 参考訳（メタデータ） (2024-09-18T13:07:19Z) - SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。
SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
論文 参考訳（メタデータ） (2023-09-29T05:13:43Z) - Graph-based Asynchronous Event Processing for Rapid Object Recognition [59.112755601918074]
イベントカメラは、各イベントがピクセル位置、トリガ時間、明るさの極性が変化するような非同期イベントストリームをキャプチャする。
イベントカメラのための新しいグラフベースのフレームワーク、SlideGCNを紹介した。
当社のアプローチでは、データをイベント単位で効率的に処理し、内部でグラフの構造を維持しながら、イベントデータの低レイテンシ特性を解放することが可能です。
論文 参考訳（メタデータ） (2023-08-28T08:59:57Z) - Frame-Event Alignment and Fusion Network for High Frame Rate Tracking [37.35823883499189]
既存のRGBベースのトラッカーのほとんどは、毎秒約30フレームの低フレームレートベンチマークをターゲットにしている。
マルチモーダリティアライメントと融合モジュールからなるエンドツーエンドネットワークを提案する。
FE240hzデータセットを用いることで,240Hzまでのフレーム速度の追跡が可能となる。
論文 参考訳（メタデータ） (2023-05-25T03:34:24Z) - Data-driven Feature Tracking for Event Cameras [48.04815194265117]
グレースケールフレームで検出された特徴を追跡するために、低レイテンシイベントを活用するイベントカメラのための、最初のデータ駆動機能トラッカーを紹介した。
合成データから実データに直接ゼロショットを転送することで、我々のデータ駆動トラッカーは、相対的特徴年齢における既存のアプローチを最大120%向上させる。
この性能ギャップはさらに130%増加し、トラッカーを新たな自己超越戦略で実データに適用する。
論文 参考訳（メタデータ） (2022-11-23T10:20:11Z) - eCDT: Event Clustering for Simultaneous Feature Detection and Tracking- [4.094848360328624]
イベントクラスタリングに基づく検出追跡(eCDT)
提案手法は,最先端手法と比較して,特徴追跡年齢が30%向上した。
論文 参考訳（メタデータ） (2022-07-19T07:39:04Z) - Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。
イベントベースビジュアル・オドメトリー(VO)に焦点をあてる
動作最適化のバックエンドとして非同期構造を提案する。
論文 参考訳（メタデータ） (2022-03-02T11:28:47Z) - VisEvent: Reliable Object Tracking via Collaboration of Frame and Event
Flows [93.54888104118822]
このタスクには現実的でスケールしたデータセットがないため、大規模なVisible-Eventベンチマーク(VisEventと呼ぶ)を提案する。
私たちのデータセットは、低照度、高速、背景乱雑なシナリオ下でキャプチャされた820のビデオペアで構成されています。
VisEventに基づいて、イベントフローをイベントイメージに変換し、30以上のベースラインメソッドを構築します。
論文 参考訳（メタデータ） (2021-08-11T03:55:12Z) - An Asynchronous Kalman Filter for Hybrid Event Cameras [13.600773150848543]
イベントカメラはhdrの視覚情報をぼやけることなく捉えるのに理想的だ。
従来のイメージセンサーは、ゆっくりと変化するシーンの絶対強度を効果的に測定するが、高いダイナミックレンジや素早く変化するシーンでは不十分である。
本稿では,ハイダイナミックレンジシナリオのためのイベントベースビデオ再構成パイプラインを提案する。
論文 参考訳（メタデータ） (2020-12-10T11:24:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。