論文の概要: Tracking Any Point with Frame-Event Fusion Network at High Frame Rate

• arxiv url: http://arxiv.org/abs/2409.11953v1
• Date: Wed, 18 Sep 2024 13:07:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 17:36:39.604561
• Title: Tracking Any Point with Frame-Event Fusion Network at High Frame Rate
• Title（参考訳）: 高フレームレートでのフレームイベント融合ネットワークによる任意の点の追跡
• Authors: Jiaxiong Liu, Bo Wang, Zhen Tan, Jinpu Zhang, Hui Shen, Dewen Hu,
• Abstract要約: 本稿では,イメージイベント融合点トラッカー FE-TAP を提案する。 画像フレームからのコンテキスト情報と、イベントの高時間分解能を組み合わせる。 FE-TAPは様々な困難条件下で高いフレームレートとロバストな点追跡を実現する。
• 参考スコア（独自算出の注目度）: 16.749590397918574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tracking any point based on image frames is constrained by frame rates, leading to instability in high-speed scenarios and limited generalization in real-world applications. To overcome these limitations, we propose an image-event fusion point tracker, FE-TAP, which combines the contextual information from image frames with the high temporal resolution of events, achieving high frame rate and robust point tracking under various challenging conditions. Specifically, we designed an Evolution Fusion module (EvoFusion) to model the image generation process guided by events. This module can effectively integrate valuable information from both modalities operating at different frequencies. To achieve smoother point trajectories, we employed a transformer-based refinement strategy that updates the point's trajectories and features iteratively. Extensive experiments demonstrate that our method outperforms state-of-the-art approaches, particularly improving expected feature age by 24$\%$ on EDS datasets. Finally, we qualitatively validated the robustness of our algorithm in real driving scenarios using our custom-designed high-resolution image-event synchronization device. Our source code will be released at https://github.com/ljx1002/FE-TAP.
• Abstract（参考訳）: 画像フレームに基づく任意の点の追跡はフレームレートによって制限され、高速なシナリオでは不安定になり、現実のアプリケーションでは限定的な一般化となる。 これらの制約を克服するために,画像フレームからのコンテキスト情報とイベントの高時間分解能を組み合わせ,様々な困難条件下で高いフレームレートとロバストな点追跡を実現するイメージイベント融合点追跡器FE-TAPを提案する。 具体的には、イベントによってガイドされる画像生成プロセスをモデル化する進化融合モジュール(EvoFusion)を設計した。 このモジュールは、異なる周波数で動作する両方のモダリティから有用な情報を効果的に統合することができる。 よりスムーズなポイントトラジェクトリを実現するために,ポイントトラジェクトリと特徴を反復的に更新するトランスフォーマーベースの洗練戦略を採用した。 大規模な実験により,提案手法は最先端の手法よりも優れており,特にEDSデータセット上での期待特徴年齢を24$\%向上させることができた。 最後に、我々のカスタム設計した高解像度画像イベント同期装置を用いて、実走行シナリオにおけるアルゴリズムの頑健さを質的に検証した。 ソースコードはhttps://github.com/ljx1002/FE-TAP.comで公開されます。

関連論文リスト

• Event-Based Video Frame Interpolation With Cross-Modal Asymmetric Bidirectional Motion Fields [39.214857326425204]
  ビデオフレーム補間 (VFI) は連続的な入力フレーム間の中間映像フレームを生成することを目的としている。 クロスモーダルな非対称な双方向運動場推定を行うイベントベースVFIフレームワークを提案する。 提案手法は, 各種データセット上での最先端VFI法よりも高い性能向上を示す。
  論文  参考訳（メタデータ） (2025-02-19T13:40:43Z)
• Spatially-guided Temporal Aggregation for Robust Event-RGB Optical Flow Estimation [47.75348821902489]
  現在の光学フロー法は、フレーム(またはRGB)データの安定した出現を利用して、時間にわたって堅牢な対応を確立する。 一方、イベントカメラは、高時間分解能のモーションキューを提供し、挑戦的なシナリオに優れています。 本研究は,時間的に密度の高い事象モダリティの集合を導くために空間的に密度の高いモダリティを用いる新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2025-01-01T13:40:09Z)
• BlinkTrack: Feature Tracking over 100 FPS via Events and Images [50.98675227695814]
  本稿では,RGB画像とイベントデータを統合した新しいフレームワークであるBlinkTrackを提案する。 本手法は,従来のカルマンフィルタを学習ベースのフレームワークに拡張し,イベントおよびイメージの分岐において微分可能なカルマンフィルタを利用する。 実験の結果、BlinkTrackは既存のイベントベースの手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-09-26T15:54:18Z)
• Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
  高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。 既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。 本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:03:23Z)
• Frame-Event Alignment and Fusion Network for High Frame Rate Tracking [37.35823883499189]
  既存のRGBベースのトラッカーのほとんどは、毎秒約30フレームの低フレームレートベンチマークをターゲットにしている。 マルチモーダリティアライメントと融合モジュールからなるエンドツーエンドネットワークを提案する。 FE240hzデータセットを用いることで,240Hzまでのフレーム速度の追跡が可能となる。
  論文  参考訳（メタデータ） (2023-05-25T03:34:24Z)
• A Unified Framework for Event-based Frame Interpolation with Ad-hoc Deblurring in the Wild [72.0226493284814]
  本稿では,デブロリングアドホックを行うイベントベースフレームの統一フレームワークを提案する。 我々のネットワークは、フレーム上の従来の最先端の手法、単一画像のデブロアリング、および両者のジョイントタスクを一貫して上回ります。
  論文  参考訳（メタデータ） (2023-01-12T18:19:00Z)
• Towards Frame Rate Agnostic Multi-Object Tracking [76.82407173177138]
  本稿では,FraMOT 問題に初めて取り組むために,FAPS を用いたフレームレート非依存MOT フレームワークを提案する。 具体的には,フレームレート情報を推論し,符号化するフレームレートアグノスティックアソシエーションモジュール(FAAM)を提案する。 FAPSは、パターンマッチングと融合を追跡することによって、トレーニングにおけるすべての後処理ステップを反映する。
  論文  参考訳（メタデータ） (2022-09-23T04:25:19Z)
• Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
  イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。 イベントベースビジュアル・オドメトリー(VO)に焦点をあてる 動作最適化のバックエンドとして非同期構造を提案する。
  論文  参考訳（メタデータ） (2022-03-02T11:28:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。