論文の概要: Tracking Any Point with Frame-Event Fusion Network at High Frame Rate

• arxiv url: http://arxiv.org/abs/2409.11953v1
• Date: Wed, 18 Sep 2024 13:07:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 17:36:39.604561
• Title: Tracking Any Point with Frame-Event Fusion Network at High Frame Rate
• Title（参考訳）: 高フレームレートでのフレームイベント融合ネットワークによる任意の点の追跡
• Authors: Jiaxiong Liu, Bo Wang, Zhen Tan, Jinpu Zhang, Hui Shen, Dewen Hu,
• Abstract要約: 本稿では,イメージイベント融合点トラッカー FE-TAP を提案する。 画像フレームからのコンテキスト情報と、イベントの高時間分解能を組み合わせる。 FE-TAPは様々な困難条件下で高いフレームレートとロバストな点追跡を実現する。
• 参考スコア（独自算出の注目度）: 16.749590397918574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tracking any point based on image frames is constrained by frame rates, leading to instability in high-speed scenarios and limited generalization in real-world applications. To overcome these limitations, we propose an image-event fusion point tracker, FE-TAP, which combines the contextual information from image frames with the high temporal resolution of events, achieving high frame rate and robust point tracking under various challenging conditions. Specifically, we designed an Evolution Fusion module (EvoFusion) to model the image generation process guided by events. This module can effectively integrate valuable information from both modalities operating at different frequencies. To achieve smoother point trajectories, we employed a transformer-based refinement strategy that updates the point's trajectories and features iteratively. Extensive experiments demonstrate that our method outperforms state-of-the-art approaches, particularly improving expected feature age by 24$\%$ on EDS datasets. Finally, we qualitatively validated the robustness of our algorithm in real driving scenarios using our custom-designed high-resolution image-event synchronization device. Our source code will be released at https://github.com/ljx1002/FE-TAP.
• Abstract（参考訳）: 画像フレームに基づく任意の点の追跡はフレームレートによって制限され、高速なシナリオでは不安定になり、現実のアプリケーションでは限定的な一般化となる。 これらの制約を克服するために,画像フレームからのコンテキスト情報とイベントの高時間分解能を組み合わせ,様々な困難条件下で高いフレームレートとロバストな点追跡を実現するイメージイベント融合点追跡器FE-TAPを提案する。 具体的には、イベントによってガイドされる画像生成プロセスをモデル化する進化融合モジュール(EvoFusion)を設計した。 このモジュールは、異なる周波数で動作する両方のモダリティから有用な情報を効果的に統合することができる。 よりスムーズなポイントトラジェクトリを実現するために,ポイントトラジェクトリと特徴を反復的に更新するトランスフォーマーベースの洗練戦略を採用した。 大規模な実験により,提案手法は最先端の手法よりも優れており,特にEDSデータセット上での期待特徴年齢を24$\%向上させることができた。 最後に、我々のカスタム設計した高解像度画像イベント同期装置を用いて、実走行シナリオにおけるアルゴリズムの頑健さを質的に検証した。 ソースコードはhttps://github.com/ljx1002/FE-TAP.comで公開されます。

関連論文リスト

• GS-EVT: Cross-Modal Event Camera Tracking based on Gaussian Splatting [19.0745952177123]
  本稿では,モーショントラッキングにおけるイベントカメラの利用について検討する。 難解なダイナミクスと照明の下で、固有の堅牢性を備えたソリューションを提供する。 フレームベースのカメラから直接来る地図表現を追跡する。
  論文  参考訳（メタデータ） (2024-09-28T03:56:39Z)
• BlinkTrack: Feature Tracking over 100 FPS via Events and Images [50.98675227695814]
  本稿では,RGB画像とイベントデータを統合した新しいフレームワークであるBlinkTrackを提案する。 本手法は,従来のカルマンフィルタを学習ベースのフレームワークに拡張し,イベントおよびイメージの分岐において微分可能なカルマンフィルタを利用する。 実験の結果、BlinkTrackは既存のイベントベースの手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-09-26T15:54:18Z)
• Event-based Video Frame Interpolation with Edge Guided Motion Refinement [28.331148083668857]
  本稿では,イベント信号のエッジ特徴を効果的に活用するためのエンドツーエンドE-VFI学習手法を提案する。 提案手法にはエッジガイド・アテンテーティブ(EGA)モジュールが組み込まれており,アテンテーティブアグリゲーションによって推定された映像の動きを補正する。 合成データと実データの両方を用いた実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-04-28T12:13:34Z)
• Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
  高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。 既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。 本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:03:23Z)
• Frame-Event Alignment and Fusion Network for High Frame Rate Tracking [37.35823883499189]
  既存のRGBベースのトラッカーのほとんどは、毎秒約30フレームの低フレームレートベンチマークをターゲットにしている。 マルチモーダリティアライメントと融合モジュールからなるエンドツーエンドネットワークを提案する。 FE240hzデータセットを用いることで,240Hzまでのフレーム速度の追跡が可能となる。
  論文  参考訳（メタデータ） (2023-05-25T03:34:24Z)
• Towards Frame Rate Agnostic Multi-Object Tracking [76.82407173177138]
  本稿では,FraMOT 問題に初めて取り組むために,FAPS を用いたフレームレート非依存MOT フレームワークを提案する。 具体的には,フレームレート情報を推論し,符号化するフレームレートアグノスティックアソシエーションモジュール(FAAM)を提案する。 FAPSは、パターンマッチングと融合を追跡することによって、トレーニングにおけるすべての後処理ステップを反映する。
  論文  参考訳（メタデータ） (2022-09-23T04:25:19Z)
• DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation [56.514462874501675]
  本稿では,動的スパースアテンションに基づくトランスフォーマーモデルを提案する。 このアプローチの核心は、ある位置がフォーカスすべき最適なトークン数の変化をカバーすることに特化した、新しいダイナミックアテンションユニットです。 3つの応用、ポーズ誘導型人物画像生成、エッジベース顔合成、歪みのない画像スタイル転送の実験により、DynaSTは局所的な詳細において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-07-13T11:12:03Z)
• Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
  イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。 イベントベースビジュアル・オドメトリー(VO)に焦点をあてる 動作最適化のバックエンドとして非同期構造を提案する。
  論文  参考訳（メタデータ） (2022-03-02T11:28:47Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。