論文の概要: Frame-Event Alignment and Fusion Network for High Frame Rate Tracking
- arxiv url: http://arxiv.org/abs/2305.15688v1
- Date: Thu, 25 May 2023 03:34:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 17:44:24.258422
- Title: Frame-Event Alignment and Fusion Network for High Frame Rate Tracking
- Title（参考訳）: 高フレームレートトラッキングのためのフレームイベントアライメントと融合ネットワーク
- Authors: Jiqing Zhang, Yuanchen Wang, Wenxi Liu, Meng Li, Jinpeng Bai, Baocai
Yin, Xin Yang
- Abstract要約: 既存のRGBベースのトラッカーのほとんどは、毎秒約30フレームの低フレームレートベンチマークをターゲットにしている。
マルチモーダリティアライメントと融合モジュールからなるエンドツーエンドネットワークを提案する。
FE240hzデータセットを用いることで,240Hzまでのフレーム速度の追跡が可能となる。
- 参考スコア（独自算出の注目度）: 37.35823883499189
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most existing RGB-based trackers target low frame rate benchmarks of around
30 frames per second. This setting restricts the tracker's functionality in the
real world, especially for fast motion. Event-based cameras as bioinspired
sensors provide considerable potential for high frame rate tracking due to
their high temporal resolution. However, event-based cameras cannot offer
fine-grained texture information like conventional cameras. This unique
complementarity motivates us to combine conventional frames and events for high
frame rate object tracking under various challenging conditions. Inthispaper,
we propose an end-to-end network consisting of multi-modality alignment and
fusion modules to effectively combine meaningful information from both
modalities at different measurement rates. The alignment module is responsible
for cross-style and cross-frame-rate alignment between frame and event
modalities under the guidance of the moving cues furnished by events. While the
fusion module is accountable for emphasizing valuable features and suppressing
noise information by the mutual complement between the two modalities.
Extensive experiments show that the proposed approach outperforms
state-of-the-art trackers by a significant margin in high frame rate tracking.
With the FE240hz dataset, our approach achieves high frame rate tracking up to
240Hz.
- Abstract（参考訳）: 既存のRGBベースのトラッカーのほとんどは、毎秒約30フレームの低フレームレートベンチマークをターゲットにしている。
この設定は、特に高速モーションのために、現実世界におけるトラッカーの機能を制限する。
バイオインスパイアされたセンサーとしてのイベントベースのカメラは、時間分解能が高いため、高いフレームレート追跡にかなりの可能性をもたらす。
しかし、イベントベースのカメラは、従来のカメラのようなきめ細かいテクスチャ情報を提供できない。
この特異な相補性は、様々な困難条件下での高フレームレート物体追跡のために、従来のフレームとイベントを組み合わせる動機となる。
本稿では,マルチモダリティアライメントと融合モジュールからなるエンド・ツー・エンドネットワークを提案する。
アライメントモジュールは、イベントによって提供される移動キューのガイダンスの下で、フレームとイベントモダリティ間のクロススタイルおよびクロスフレームレートアライメントを担っている。
融合モジュールは、貴重な特徴を強調し、2つのモダリティ間の相互補完によってノイズ情報を抑制する責任を負う。
大規模な実験により,提案手法は高フレームレートトラッキングにおいて,最先端トラッカーよりも優れた性能を示した。
fe240hzデータセットでは、240hzまでの高フレームレートトラッキングを実現する。
関連論文リスト
- BlinkTrack: Feature Tracking over 100 FPS via Events and Images [50.98675227695814]
本稿では,RGB画像とイベントデータを統合した新しいフレームワークであるBlinkTrackを提案する。
本手法は,従来のカルマンフィルタを学習ベースのフレームワークに拡張し,イベントおよびイメージの分岐において微分可能なカルマンフィルタを利用する。
実験の結果、BlinkTrackは既存のイベントベースの手法よりも大幅に優れていた。
論文 参考訳（メタデータ） (2024-09-26T15:54:18Z) - Tracking Any Point with Frame-Event Fusion Network at High Frame Rate [16.749590397918574]
本稿では,イメージイベント融合点トラッカー FE-TAP を提案する。
画像フレームからのコンテキスト情報と、イベントの高時間分解能を組み合わせる。
FE-TAPは様々な困難条件下で高いフレームレートとロバストな点追跡を実現する。
論文 参考訳（メタデータ） (2024-09-18T13:07:19Z) - CMTA: Cross-Modal Temporal Alignment for Event-guided Video Deblurring [44.30048301161034]
ビデオデブロアリングは、隣接するビデオフレームから情報を集めることで、モーションレッドビデオの復元結果の品質を高めることを目的としている。
1) フレーム内機能拡張は, 単一のぼやけたフレームの露出時間内で動作し, 2) フレーム間時間的特徴アライメントは, 重要な長期時間情報を対象のフレームに収集する。
提案手法は, 合成および実世界のデブロアリングデータセットを用いた広範囲な実験により, 最先端のフレームベースおよびイベントベース動作デブロアリング法より優れていることを示す。
論文 参考訳（メタデータ） (2024-08-27T10:09:17Z) - CRSOT: Cross-Resolution Object Tracking using Unaligned Frame and Event
Cameras [43.699819213559515]
既存のRGB-DVSトラッキング用のデータセットは、DVS346カメラで収集される。
我々は、特別に構築されたデータ取得システムを用いて収集された、最初の不整合フレームイベントデータセットCRSOTを構築した。
ゆるやかなRGBイベントデータを用いても、ロバストなトラッキングを実現することのできる、新しい非整列オブジェクト追跡フレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-05T14:20:22Z) - SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。
SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
論文 参考訳（メタデータ） (2023-09-29T05:13:43Z) - Self-supervised Learning of Event-guided Video Frame Interpolation for
Rolling Shutter Frames [6.62974666987451]
本稿では、任意のフレームレート遅延グローバルシャッター(GS)フレームを2つの連続ローリングシャッター(RS)フレームから回収する難題に挑戦する最初の試みを行う。
本稿では,RSフレーム補正VFIを統一フレームワークでガイドするイベントを利用した,新たな自己教師型フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-27T14:30:25Z) - Towards Frame Rate Agnostic Multi-Object Tracking [76.82407173177138]
本稿では,FraMOT 問題に初めて取り組むために,FAPS を用いたフレームレート非依存MOT フレームワークを提案する。
具体的には,フレームレート情報を推論し,符号化するフレームレートアグノスティックアソシエーションモジュール(FAAM)を提案する。
FAPSは、パターンマッチングと融合を追跡することによって、トレーニングにおけるすべての後処理ステップを反映する。
論文 参考訳（メタデータ） (2022-09-23T04:25:19Z) - VisEvent: Reliable Object Tracking via Collaboration of Frame and Event
Flows [93.54888104118822]
このタスクには現実的でスケールしたデータセットがないため、大規模なVisible-Eventベンチマーク(VisEventと呼ぶ)を提案する。
私たちのデータセットは、低照度、高速、背景乱雑なシナリオ下でキャプチャされた820のビデオペアで構成されています。
VisEventに基づいて、イベントフローをイベントイメージに変換し、30以上のベースラインメソッドを構築します。
論文 参考訳（メタデータ） (2021-08-11T03:55:12Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳（メタデータ） (2021-06-14T10:33:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。