論文の概要: Frame-Event Alignment and Fusion Network for High Frame Rate Tracking

• arxiv url: http://arxiv.org/abs/2305.15688v1
• Date: Thu, 25 May 2023 03:34:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 17:44:24.258422
• Title: Frame-Event Alignment and Fusion Network for High Frame Rate Tracking
• Title（参考訳）: 高フレームレートトラッキングのためのフレームイベントアライメントと融合ネットワーク
• Authors: Jiqing Zhang, Yuanchen Wang, Wenxi Liu, Meng Li, Jinpeng Bai, Baocai Yin, Xin Yang
• Abstract要約: 既存のRGBベースのトラッカーのほとんどは、毎秒約30フレームの低フレームレートベンチマークをターゲットにしている。 マルチモーダリティアライメントと融合モジュールからなるエンドツーエンドネットワークを提案する。 FE240hzデータセットを用いることで,240Hzまでのフレーム速度の追跡が可能となる。
• 参考スコア（独自算出の注目度）: 37.35823883499189
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most existing RGB-based trackers target low frame rate benchmarks of around 30 frames per second. This setting restricts the tracker's functionality in the real world, especially for fast motion. Event-based cameras as bioinspired sensors provide considerable potential for high frame rate tracking due to their high temporal resolution. However, event-based cameras cannot offer fine-grained texture information like conventional cameras. This unique complementarity motivates us to combine conventional frames and events for high frame rate object tracking under various challenging conditions. Inthispaper, we propose an end-to-end network consisting of multi-modality alignment and fusion modules to effectively combine meaningful information from both modalities at different measurement rates. The alignment module is responsible for cross-style and cross-frame-rate alignment between frame and event modalities under the guidance of the moving cues furnished by events. While the fusion module is accountable for emphasizing valuable features and suppressing noise information by the mutual complement between the two modalities. Extensive experiments show that the proposed approach outperforms state-of-the-art trackers by a significant margin in high frame rate tracking. With the FE240hz dataset, our approach achieves high frame rate tracking up to 240Hz.
• Abstract（参考訳）: 既存のRGBベースのトラッカーのほとんどは、毎秒約30フレームの低フレームレートベンチマークをターゲットにしている。 この設定は、特に高速モーションのために、現実世界におけるトラッカーの機能を制限する。 バイオインスパイアされたセンサーとしてのイベントベースのカメラは、時間分解能が高いため、高いフレームレート追跡にかなりの可能性をもたらす。 しかし、イベントベースのカメラは、従来のカメラのようなきめ細かいテクスチャ情報を提供できない。 この特異な相補性は、様々な困難条件下での高フレームレート物体追跡のために、従来のフレームとイベントを組み合わせる動機となる。 本稿では,マルチモダリティアライメントと融合モジュールからなるエンド・ツー・エンドネットワークを提案する。 アライメントモジュールは、イベントによって提供される移動キューのガイダンスの下で、フレームとイベントモダリティ間のクロススタイルおよびクロスフレームレートアライメントを担っている。 融合モジュールは、貴重な特徴を強調し、2つのモダリティ間の相互補完によってノイズ情報を抑制する責任を負う。 大規模な実験により,提案手法は高フレームレートトラッキングにおいて,最先端トラッカーよりも優れた性能を示した。 fe240hzデータセットでは、240hzまでの高フレームレートトラッキングを実現する。

関連論文リスト

• Tracking by Associating Clips [110.08925274049409]
  本稿では,オブジェクト関連をクリップワイドマッチングとして扱う方法を検討する。 我々の新しい視点では、1つの長いビデオシーケンスを複数のショートクリップとみなし、そのトラックはクリップ内とクリップ間の両方で実行される。 この新しい手法の利点は2つある。まず、ビデオチャンキングによって中断フレームをバイパスできるため、エラーの蓄積や伝播の追跡に頑健である。 次に、クリップワイドマッチング中に複数のフレーム情報を集約し、現在のフレームワイドマッチングよりも高精度な長距離トラックアソシエーションを実現する。
  論文  参考訳（メタデータ） (2022-12-20T10:33:17Z)
• Towards Frame Rate Agnostic Multi-Object Tracking [76.82407173177138]
  本稿では,FraMOT 問題に初めて取り組むために,FAPS を用いたフレームレート非依存MOT フレームワークを提案する。 具体的には,フレームレート情報を推論し,符号化するフレームレートアグノスティックアソシエーションモジュール(FAAM)を提案する。 FAPSは、パターンマッチングと融合を追跡することによって、トレーニングにおけるすべての後処理ステップを反映する。
  論文  参考訳（メタデータ） (2022-09-23T04:25:19Z)
• Video frame interpolation for high dynamic range sequences captured with dual-exposure sensors [24.086089662881044]
  ビデオフレーム(VFI)は、時間領域を含む多くの重要なアプリケーションを可能にする。 重要な課題の1つは、複雑な動きの存在下で高いダイナミックレンジシーンを扱うことである。
  論文  参考訳（メタデータ） (2022-06-19T20:29:34Z)
• Unifying Motion Deblurring and Frame Interpolation with Events [11.173687810873433]
  フレームベースのカメラのスローシャッター速度と長時間露光は、しばしばフレーム間の情報の視覚的曖昧さと損失を引き起こし、キャプチャされたビデオの全体的な品質を劣化させる。 イベントの極めて低レイテンシを利用して、動きのぼやけを緩和し、中間フレーム予測を容易にする、ぼやけたビデオ強調のためのイベントベースモーションデブロアリングとフレーム拡張の統一フレームワークを提案する。 ぼやけたフレーム,潜入画像,イベントストリーム間の相互制約を探索することにより,実世界のぼやけたビデオやイベントによるネットワークトレーニングを可能にする,自己教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-23T03:43:12Z)
• VisEvent: Reliable Object Tracking via Collaboration of Frame and Event Flows [55.537269580245784]
  このタスクには現実的でスケールしたデータセットがないため、大規模なVisible-Eventベンチマーク(VisEventと呼ぶ)を提案する。 私たちのデータセットは、低照度、高速、背景乱雑なシナリオ下でキャプチャされた820のビデオペアで構成されています。 イベントフローをイベントイメージに変換し、現在の単一モードトラッカーを拡張することで、30以上のベースラインメソッドを構築します。
  論文  参考訳（メタデータ） (2021-08-11T03:55:12Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• Tracking 6-DoF Object Motion from Events and Frames [0.0]
  本研究では,6自由度(6-DoF)物体の動き追跡のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-03-29T12:39:38Z)
• All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling [52.425236515695914]
  最先端の手法は、一度に1つのフレームを補間する反復解である。 この研究は、真のマルチフレーム補間子を導入している。 時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
  論文  参考訳（メタデータ） (2020-07-23T02:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。