論文の概要: Towards Frame Rate Agnostic Multi-Object Tracking
- arxiv url: http://arxiv.org/abs/2209.11404v3
- Date: Tue, 18 Apr 2023 02:15:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-19 18:33:30.187842
- Title: Towards Frame Rate Agnostic Multi-Object Tracking
- Title（参考訳）: フレームレート非依存多対象追跡に向けて
- Authors: Weitao Feng and Lei Bai and Yongqiang Yao and Fengwei Yu and Wanli
Ouyang
- Abstract要約: 本稿では,FraMOT 問題に初めて取り組むために,FAPS を用いたフレームレート非依存MOT フレームワークを提案する。
具体的には,フレームレート情報を推論し,符号化するフレームレートアグノスティックアソシエーションモジュール(FAAM)を提案する。
FAPSは、パターンマッチングと融合を追跡することによって、トレーニングにおけるすべての後処理ステップを反映する。
- 参考スコア（独自算出の注目度）: 76.82407173177138
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multi-Object Tracking (MOT) is one of the most fundamental computer vision
tasks that contributes to various video analysis applications. Despite the
recent promising progress, current MOT research is still limited to a fixed
sampling frame rate of the input stream. In fact, we empirically found that the
accuracy of all recent state-of-the-art trackers drops dramatically when the
input frame rate changes. For a more intelligent tracking solution, we shift
the attention of our research work to the problem of Frame Rate Agnostic MOT
(FraMOT), which takes frame rate insensitivity into consideration. In this
paper, we propose a Frame Rate Agnostic MOT framework with a Periodic training
Scheme (FAPS) to tackle the FraMOT problem for the first time. Specifically, we
propose a Frame Rate Agnostic Association Module (FAAM) that infers and encodes
the frame rate information to aid identity matching across multi-frame-rate
inputs, improving the capability of the learned model in handling complex
motion-appearance relations in FraMOT. Moreover, the association gap between
training and inference is enlarged in FraMOT because those post-processing
steps not included in training make a larger difference in lower frame rate
scenarios. To address it, we propose Periodic Training Scheme (PTS) to reflect
all post-processing steps in training via tracking pattern matching and fusion.
Along with the proposed approaches, we make the first attempt to establish an
evaluation method for this new task of FraMOT in two different modes, i.e.,
known frame rate and unknown frame rate, aiming to handle a more complex
situation. The quantitative experiments on the challenging MOT17/20 dataset
(FraMOT version) have clearly demonstrated that the proposed approaches can
handle different frame rates better and thus improve the robustness against
complicated scenarios.
- Abstract（参考訳）: マルチオブジェクト追跡(MOT)は、様々なビデオ分析アプリケーションに寄与する最も基本的なコンピュータビジョンタスクの1つである。
最近の有望な進歩にもかかわらず、現在のmot研究は入力ストリームの固定サンプリングフレームレートに限定されている。
実際,最近の最先端トラッカーの精度は,入力フレームレートが変化すると劇的に低下することがわかった。
よりインテリジェントな追跡ソリューションとして、我々の研究の注意をフレームレート非依存MOT(FraMOT)の問題にシフトし、フレームレートの感度を考慮に入れます。
本稿では、FraMOT問題に初めて取り組むための周期的トレーニングスキーム(FAPS)を備えたフレームレート非依存MOTフレームワークを提案する。
具体的には、フレームレートアグノスティックアソシエーションモジュール(FAAM)を提案し、フレームレート情報を推論して符号化し、マルチフレームレート入力間のIDマッチングを支援することにより、FraMOTにおける複雑な動き・出現関係を扱う際の学習モデルの能力を向上させる。
さらに、トレーニングに含まれない後処理ステップは、低いフレームレートシナリオにおいて大きな差をもたらすため、トレーニングと推論の相関ギャップがframotで拡大される。
そこで本研究では,追跡パターンマッチングと融合を通じて,トレーニング後のすべてのステップを反映する周期的トレーニングスキーム(pts)を提案する。
提案手法とともに,より複雑な状況に対処することを目的とした,2つの異なるモード,すなわち既知のフレームレートと未知フレームレートにおけるフレモットの新たなタスクの評価方法を確立するための最初の試みを行う。
挑戦的なMOT17/20データセット(FraMOTバージョン)に関する定量的実験は、提案手法が異なるフレームレートをよりよく処理し、複雑なシナリオに対する堅牢性を向上させることを明らかに示している。
関連論文リスト
- Self-supervised Learning of Event-guided Video Frame Interpolation for
Rolling Shutter Frames [6.62974666987451]
本稿では、任意のフレームレート遅延グローバルシャッター(GS)フレームを2つの連続ローリングシャッター(RS)フレームから回収する難題に挑戦する最初の試みを行う。
本稿では,RSフレーム補正VFIを統一フレームワークでガイドするイベントを利用した,新たな自己教師型フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-27T14:30:25Z) - Frame-Event Alignment and Fusion Network for High Frame Rate Tracking [37.35823883499189]
既存のRGBベースのトラッカーのほとんどは、毎秒約30フレームの低フレームレートベンチマークをターゲットにしている。
マルチモーダリティアライメントと融合モジュールからなるエンドツーエンドネットワークを提案する。
FE240hzデータセットを用いることで,240Hzまでのフレーム速度の追跡が可能となる。
論文 参考訳（メタデータ） (2023-05-25T03:34:24Z) - Video Frame Interpolation with Densely Queried Bilateral Correlation [52.823751291070906]
Video Frame Interpolation (VFI) は、既存のフレーム間で既存の中間フレームを合成することを目的としている。
フローベースVFIアルゴリズムは、中間運動場を推定し、既存のフレームをワープする。
本稿では,DQBC(Densely Queried Bilateral correlation, DQBC)を提案する。
論文 参考訳（メタデータ） (2023-04-26T14:45:09Z) - Tracking by Associating Clips [110.08925274049409]
本稿では,オブジェクト関連をクリップワイドマッチングとして扱う方法を検討する。
我々の新しい視点では、1つの長いビデオシーケンスを複数のショートクリップとみなし、そのトラックはクリップ内とクリップ間の両方で実行される。
この新しい手法の利点は2つある。まず、ビデオチャンキングによって中断フレームをバイパスできるため、エラーの蓄積や伝播の追跡に頑健である。
次に、クリップワイドマッチング中に複数のフレーム情報を集約し、現在のフレームワイドマッチングよりも高精度な長距離トラックアソシエーションを実現する。
論文 参考訳（メタデータ） (2022-12-20T10:33:17Z) - E-VFIA : Event-Based Video Frame Interpolation with Attention [8.93294761619288]
軽量カーネルベース手法として,注目度の高いイベントベースビデオフレーム(E-VFIA)を提案する。
E-VFIAは、イベント情報を変形可能な畳み込みによって標準的なビデオフレームと融合し、高品質な補間フレームを生成する。
提案手法は、時間分解能の高いイベントを表現し、イベントベース情報をよりよくエンコードするためにマルチヘッド自己保持機構を使用する。
論文 参考訳（メタデータ） (2022-09-19T21:40:32Z) - TTVFI: Learning Trajectory-Aware Transformer for Video Frame
Interpolation [50.49396123016185]
ビデオフレーム(VFI)は、2つの連続するフレーム間の中間フレームを合成することを目的としている。
ビデオフレーム補間用トラジェクトリ対応トランス (TTVFI) を提案する。
提案手法は,4つの広く使用されているVFIベンチマークにおいて,他の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2022-07-19T03:37:49Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳（メタデータ） (2021-06-14T10:33:47Z) - All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced
Motion Modeling [52.425236515695914]
最先端の手法は、一度に1つのフレームを補間する反復解である。
この研究は、真のマルチフレーム補間子を導入している。
時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
論文 参考訳（メタデータ） (2020-07-23T02:34:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。