論文の概要: TimeTracker: Event-based Continuous Point Tracking for Video Frame Interpolation with Non-linear Motion

• arxiv url: http://arxiv.org/abs/2505.03116v1
• Date: Tue, 06 May 2025 02:12:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 18:50:11.1659
• Title: TimeTracker: Event-based Continuous Point Tracking for Video Frame Interpolation with Non-linear Motion
• Title（参考訳）: TimeTracker:非線形動作によるビデオフレーム補間のためのイベントベース連続点追跡
• Authors: Haoyue Liu, Jinghan Xu, Yi Chang, Hanyu Zhou, Haozhi Zhao, Lin Wang, Luxin Yan,
• Abstract要約: イベントベースのビデオフレーム(VFI)のハードルは、非線形モーションを扱う方法である。 我々はTimeTrackerという新しい連続点追跡ベースのVFIフレームワークを提案する。 本手法は, 動作推定とフレーム品質の両方において, 先行技術より優れる。
• 参考スコア（独自算出の注目度）: 18.191333256398845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video frame interpolation (VFI) that leverages the bio-inspired event cameras as guidance has recently shown better performance and memory efficiency than the frame-based methods, thanks to the event cameras' advantages, such as high temporal resolution. A hurdle for event-based VFI is how to effectively deal with non-linear motion, caused by the dynamic changes in motion direction and speed within the scene. Existing methods either use events to estimate sparse optical flow or fuse events with image features to estimate dense optical flow. Unfortunately, motion errors often degrade the VFI quality as the continuous motion cues from events do not align with the dense spatial information of images in the temporal dimension. In this paper, we find that object motion is continuous in space, tracking local regions over continuous time enables more accurate identification of spatiotemporal feature correlations. In light of this, we propose a novel continuous point tracking-based VFI framework, named TimeTracker. Specifically, we first design a Scene-Aware Region Segmentation (SARS) module to divide the scene into similar patches. Then, a Continuous Trajectory guided Motion Estimation (CTME) module is proposed to track the continuous motion trajectory of each patch through events. Finally, intermediate frames at any given time are generated through global motion optimization and frame refinement. Moreover, we collect a real-world dataset that features fast non-linear motion. Extensive experiments show that our method outperforms prior arts in both motion estimation and frame interpolation quality.
• Abstract（参考訳）: バイオインスパイアされたイベントカメラをガイダンスとして利用するビデオフレーム補間(VFI)は,高時間分解能などのイベントカメラの利点により,近年,フレームベースの手法よりも性能とメモリ効率が向上している。 イベントベースのVFIのハードルは、シーン内の運動方向と速度の動的変化に起因する非線形運動を効果的に扱う方法である。 既存の方法では、スパース光の流れを推定するためにイベントを使うか、画像の特徴を持つ融合イベントを使って密度の高い光の流れを推定する。 残念なことに、連続的な動きキューが時間次元の画像の密集した空間情報と一致しないため、動作エラーはしばしばVFIの品質を低下させる。 本稿では,物体の運動が空間内で連続していることを確認し,連続時間による局所領域の追跡により,時空間の特徴相関のより正確な同定が可能となる。 そこで我々はTimeTrackerという新しい連続点追跡ベースのVFIフレームワークを提案する。 具体的には、Scene-Aware Region Segmentation (SARS) モジュールを設計し、シーンを同様のパッチに分割する。 次に,連続軌跡誘導運動推定(CTME)モジュールを提案し,各パッチの連続運動軌跡をイベントを通して追跡する。 最後に、任意の時間における中間フレームは、大域的な運動最適化とフレーム精錬によって生成される。 さらに,高速な非線形運動を特徴とする実世界のデータセットを収集する。 本手法は, 動作推定とフレーム補間品質の両方において, 先行技術よりも優れていた。

関連論文リスト

• Tracktention: Leveraging Point Tracking to Attend Videos Faster and Better [61.381599921020175]
  時間的一貫性は、出力が一貫性があり、アーティファクトがないことを保証するために、ビデオ予測において重要である。 時間的注意や3D畳み込みといった伝統的な手法は、重要な物体の動きに苦しむことがある。 本稿では,ポイントトラックを用いた動き情報を明示的に統合する新しいアーキテクチャコンポーネントであるトラックキート・レイヤを提案する。
  論文  参考訳（メタデータ） (2025-03-25T17:58:48Z)
• EMoTive: Event-guided Trajectory Modeling for 3D Motion Estimation [59.33052312107478]
  イベントカメラは、シーン変化に対する連続的適応ピクセルレベル応答による3次元モーション推定の可能性を提供する。 本稿では,イベント誘導パラメトリック曲線を用いた一様軌道をモデル化するイベントベースフレームワークであるEMoveについて述べる。 動作表現には,事象誘導下での空間的特徴と時間的特徴を融合する密度認識適応機構を導入する。 最終3次元運動推定は、パラメトリック軌道、流れ、深度運動場の多時間サンプリングによって達成される。
  論文  参考訳（メタデータ） (2025-03-14T13:15:54Z)
• Event-Based Tracking Any Point with Motion-Augmented Temporal Consistency [58.719310295870024]
  本稿では,任意の点を追跡するイベントベースのフレームワークを提案する。 出来事の空間的空間性や動きの感度によって引き起こされる課題に対処する。 競合モデルパラメータによる処理を150%高速化する。
  論文  参考訳（メタデータ） (2024-12-02T09:13:29Z)
• DATAP-SfM: Dynamic-Aware Tracking Any Point for Robust Structure from Motion in the Wild [85.03973683867797]
  本稿では,スムーズなカメラ軌跡を推定し,野生のカジュアルビデオのための高密度点雲を得るための,簡潔でエレガントでロバストなパイプラインを提案する。 提案手法は,複雑な動的課題シーンにおいても,カメラポーズ推定による最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-20T13:01:16Z)
• Motion Segmentation for Neuromorphic Aerial Surveillance [42.04157319642197]
  イベントカメラは優れた時間分解能、優れたダイナミックレンジ、最小限の電力要件を提供する。 固定間隔で冗長な情報をキャプチャする従来のフレームベースのセンサーとは異なり、イベントカメラは画素レベルの明るさ変化を非同期に記録する。 本稿では,イベントデータと光フロー情報の両方に自己監督型視覚変換器を利用する動き分割手法を提案する。
  論文  参考訳（メタデータ） (2024-05-24T04:36:13Z)
• Event-based Video Frame Interpolation with Edge Guided Motion Refinement [28.331148083668857]
  本稿では,イベント信号のエッジ特徴を効果的に活用するためのエンドツーエンドE-VFI学習手法を提案する。 提案手法にはエッジガイド・アテンテーティブ(EGA)モジュールが組み込まれており,アテンテーティブアグリゲーションによって推定された映像の動きを補正する。 合成データと実データの両方を用いた実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-04-28T12:13:34Z)
• Video frame interpolation for high dynamic range sequences captured with dual-exposure sensors [24.086089662881044]
  ビデオフレーム(VFI)は、時間領域を含む多くの重要なアプリケーションを可能にする。 重要な課題の1つは、複雑な動きの存在下で高いダイナミックレンジシーンを扱うことである。
  論文  参考訳（メタデータ） (2022-06-19T20:29:34Z)
• Implicit Motion Handling for Video Camouflaged Object Detection [60.98467179649398]
  本稿では,新しいビデオカモフラージュオブジェクト検出(VCOD)フレームワークを提案する。 短期的および長期的整合性を利用して、ビデオフレームからカモフラージュされたオブジェクトを検出する。
  論文  参考訳（メタデータ） (2022-03-14T17:55:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。