論文の概要: Towards Frame Rate Agnostic Multi-Object Tracking
- arxiv url: http://arxiv.org/abs/2209.11404v1
- Date: Fri, 23 Sep 2022 04:25:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-26 16:40:20.330207
- Title: Towards Frame Rate Agnostic Multi-Object Tracking
- Title（参考訳）: フレームレート非依存多対象追跡に向けて
- Authors: Weitao Feng and Lei Bai and Yongqiang Yao and Fengwei Yu and Wanli
Ouyang
- Abstract要約: フレームレート非依存MOT(FraMOT)の問題に対処するために、周期的トレーニングスキーム(FAPS)を用いたフレームレート非依存MOTフレームワークを提案する。
具体的には,フレームレートアグノスティックアソシエーションモジュール (FAAM) を提案する。
さらに、トレーニングに含まれない後処理ステップが低いフレームレートシナリオに大きな違いをもたらすため、トレーニングと推論の相関ギャップがFraMOTで拡大される。
- 参考スコア（独自算出の注目度）: 76.82407173177138
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multi-Object Tracking (MOT) is one of the most fundamental computer vision
tasks which contributes to a variety of video analysis applications. Despite
the recent promising progress, current MOT research is still limited to a fixed
sampling frame rate of the input stream. In fact, we empirically find that the
accuracy of all recent state-of-the-art trackers drops dramatically when the
input frame rate changes. For a more intelligent tracking solution, we shift
the attention of our research work to the problem of Frame Rate Agnostic MOT
(FraMOT). In this paper, we propose a Frame Rate Agnostic MOT framework with
Periodic training Scheme (FAPS) to tackle the FraMOT problem for the first
time. Specifically, we propose a Frame Rate Agnostic Association Module (FAAM)
that infers and encodes the frame rate information to aid identity matching
across multi-frame-rate inputs, improving the capability of the learned model
in handling complex motion-appearance relations in FraMOT. Besides, the
association gap between training and inference is enlarged in FraMOT because
those post-processing steps not included in training make a larger difference
in lower frame rate scenarios. To address it, we propose Periodic Training
Scheme (PTS) to reflect all post-processing steps in training via tracking
pattern matching and fusion. Along with the proposed approaches, we make the
first attempt to establish an evaluation method for this new task of FraMOT in
two different modes, i.e., known frame rate and unknown frame rate, aiming to
handle a more complex situation. The quantitative experiments on the
challenging MOT datasets (FraMOT version) have clearly demonstrated that the
proposed approaches can handle different frame rates better and thus improve
the robustness against complicated scenarios.
- Abstract（参考訳）: マルチオブジェクト追跡(MOT)は、様々なビデオ分析アプリケーションに寄与する最も基本的なコンピュータビジョンタスクの1つである。
最近の有望な進歩にもかかわらず、現在のmot研究は入力ストリームの固定サンプリングフレームレートに限定されている。
実際、最近の最先端トラッカーの精度は、入力フレームレートが変化すると劇的に低下する。
よりインテリジェントな追跡ソリューションとして、我々の研究の焦点をフレームレート非依存MOT(FraMOT)の問題にシフトする。
本稿では、FraMOT問題に初めて取り組むために、周期的トレーニングスキーム(FAPS)を用いたフレームレート非依存MOTフレームワークを提案する。
具体的には、フレームレートアグノスティックアソシエーションモジュール(FAAM)を提案し、フレームレート情報を推論して符号化し、マルチフレームレート入力間のIDマッチングを支援することにより、FraMOTにおける複雑な動き・出現関係を扱う際の学習モデルの能力を向上させる。
さらに、トレーニングに含まれない後処理ステップが低いフレームレートシナリオに大きな違いをもたらすため、トレーニングと推論の相関ギャップがFraMOTで拡大される。
そこで本研究では,追跡パターンマッチングと融合を通じて,トレーニング後のすべてのステップを反映する周期的トレーニングスキーム(pts)を提案する。
提案手法とともに,より複雑な状況に対処することを目的とした,2つの異なるモード,すなわち既知のフレームレートと未知フレームレートにおけるフレモットの新たなタスクの評価方法を確立するための最初の試みを行う。
挑戦的なMOTデータセット(FraMOTバージョン)に関する定量的実験は、提案手法が異なるフレームレートをよりよく処理し、複雑なシナリオに対する堅牢性を改善することを明らかに示している。
関連論文リスト
- Self-supervised Learning of Event-guided Video Frame Interpolation for
Rolling Shutter Frames [6.62974666987451]
本稿では、任意のフレームレート遅延グローバルシャッター(GS)フレームを2つの連続ローリングシャッター(RS)フレームから回収する難題に挑戦する最初の試みを行う。
本稿では,RSフレーム補正VFIを統一フレームワークでガイドするイベントを利用した,新たな自己教師型フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-27T14:30:25Z) - Frame-Event Alignment and Fusion Network for High Frame Rate Tracking [37.35823883499189]
既存のRGBベースのトラッカーのほとんどは、毎秒約30フレームの低フレームレートベンチマークをターゲットにしている。
マルチモーダリティアライメントと融合モジュールからなるエンドツーエンドネットワークを提案する。
FE240hzデータセットを用いることで,240Hzまでのフレーム速度の追跡が可能となる。
論文 参考訳（メタデータ） (2023-05-25T03:34:24Z) - Video Frame Interpolation with Densely Queried Bilateral Correlation [52.823751291070906]
Video Frame Interpolation (VFI) は、既存のフレーム間で既存の中間フレームを合成することを目的としている。
フローベースVFIアルゴリズムは、中間運動場を推定し、既存のフレームをワープする。
本稿では,DQBC(Densely Queried Bilateral correlation, DQBC)を提案する。
論文 参考訳（メタデータ） (2023-04-26T14:45:09Z) - Tracking by Associating Clips [110.08925274049409]
本稿では,オブジェクト関連をクリップワイドマッチングとして扱う方法を検討する。
我々の新しい視点では、1つの長いビデオシーケンスを複数のショートクリップとみなし、そのトラックはクリップ内とクリップ間の両方で実行される。
この新しい手法の利点は2つある。まず、ビデオチャンキングによって中断フレームをバイパスできるため、エラーの蓄積や伝播の追跡に頑健である。
次に、クリップワイドマッチング中に複数のフレーム情報を集約し、現在のフレームワイドマッチングよりも高精度な長距離トラックアソシエーションを実現する。
論文 参考訳（メタデータ） (2022-12-20T10:33:17Z) - E-VFIA : Event-Based Video Frame Interpolation with Attention [8.93294761619288]
軽量カーネルベース手法として,注目度の高いイベントベースビデオフレーム(E-VFIA)を提案する。
E-VFIAは、イベント情報を変形可能な畳み込みによって標準的なビデオフレームと融合し、高品質な補間フレームを生成する。
提案手法は、時間分解能の高いイベントを表現し、イベントベース情報をよりよくエンコードするためにマルチヘッド自己保持機構を使用する。
論文 参考訳（メタデータ） (2022-09-19T21:40:32Z) - TTVFI: Learning Trajectory-Aware Transformer for Video Frame
Interpolation [50.49396123016185]
ビデオフレーム(VFI)は、2つの連続するフレーム間の中間フレームを合成することを目的としている。
ビデオフレーム補間用トラジェクトリ対応トランス (TTVFI) を提案する。
提案手法は,4つの広く使用されているVFIベンチマークにおいて,他の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2022-07-19T03:37:49Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳（メタデータ） (2021-06-14T10:33:47Z) - All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced
Motion Modeling [52.425236515695914]
最先端の手法は、一度に1つのフレームを補間する反復解である。
この研究は、真のマルチフレーム補間子を導入している。
時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
論文 参考訳（メタデータ） (2020-07-23T02:34:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。