論文の概要: MFT: Long-Term Tracking of Every Pixel
- arxiv url: http://arxiv.org/abs/2305.12998v1
- Date: Mon, 22 May 2023 13:02:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 16:03:17.922635
- Title: MFT: Long-Term Tracking of Every Pixel
- Title（参考訳）: MFT:全てのPixelの長期追跡
- Authors: Michal Neoral, Jon\'a\v{s} \v{S}er\'ych, Ji\v{r}\'i Matas
- Abstract要約: 本稿では,高密度,高画素レベル,長期追跡のための新しい手法を提案する。
MFTはTAP-Vid-DAVISベンチマークで最先端の結果が得られることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose MFT -- Multi-Flow dense Tracker -- a novel method for dense,
pixel-level, long-term tracking. The approach exploits optical flows estimated
not only between consecutive frames, but also for pairs of frames at
logarithmically spaced intervals. It then selects the most reliable sequence of
flows on the basis of estimates of its geometric accuracy and the probability
of occlusion, both provided by a pre-trained CNN.
We show that MFT achieves state-of-the-art results on the TAP-Vid-DAVIS
benchmark, outperforming the baselines, their combination, and published
methods by a significant margin, achieving an average position accuracy of
70.8%, average Jaccard of 56.1% and average occlusion accuracy of 86.9%. The
method is insensitive to medium-length occlusions and it is robustified by
estimating flow with respect to the reference frame, which reduces drift.
- Abstract（参考訳）: MFT-Multi-Flow dense Tracker--高密度・画素レベルの長期追跡のための新しい手法を提案する。
このアプローチでは、連続するフレーム間だけでなく、対数間隔の間隔でフレームのペアに対して推定される光フローを利用する。
そして、事前訓練されたcnnによって提供される幾何学的精度と咬合確率の推定に基づいて、最も信頼できる流れの列を選択する。
MFTは,TAP-Vid-DAVISベンチマークにおいて,平均位置精度70.8%,平均ジャカード56.1%,平均オクルージョン精度86.9%を達成し,ベースライン,組み合わせ,公開手法を著しく上回った。
提案手法は中長オクルージョンに対して不感であり, 基準フレームに対する流れを推定することにより, ドリフトを低減させる。
関連論文リスト
- Consistency Flow Matching: Defining Straight Flows with Velocity Consistency [97.28511135503176]
本稿では,速度場の自己整合性を明示する新しいFM法であるConsistency Flow Matching(Consistency-FM)を紹介する。
予備実験により、一貫性FMは、一貫性モデルよりも4.4倍速く収束することにより、トレーニング効率を著しく向上することが示された。
論文 参考訳（メタデータ） (2024-07-02T16:15:37Z) - Dense Matchers for Dense Tracking [0.0]
本稿では,MFT が提案する対数空間間隔における多重光流の結合の概念を拡張した。
我々は,MFTと異なる光フローネットワークとの整合性を実証し,個々の性能を上回る結果を得た。
このアプローチは、位置予測精度の観点から、より洗練された非因果的手法と競合することが証明されている。
論文 参考訳（メタデータ） (2024-02-17T14:16:14Z) - Motion-Aware Video Frame Interpolation [49.49668436390514]
我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。
受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
論文 参考訳（メタデータ） (2024-02-05T11:00:14Z) - Dense Optical Tracking: Connecting the Dots [82.79642869586587]
DOTは、ビデオにおけるポイントトラッキングの問題を解決するための、新しくてシンプルで効率的な方法である。
OmniMotionのような高度な"ユニバーサルトラッカー"を上回り、CoTrackerのような最良のポイントトラッキングアルゴリズムと同等か、あるいはそれ以上の精度で、DOTが現在の光フロー技術よりもはるかに正確であることを示す。
論文 参考訳（メタデータ） (2023-12-01T18:59:59Z) - StreamFlow: Streamlined Multi-Frame Optical Flow Estimation for Video
Sequences [31.210626775505407]
連続するフレーム間のオクルージョンは、長い間、光学的フロー推定において重要な課題を提起してきた。
本稿では,ビデオ入力に適したストリーム・イン・バッチ・マルチフレーム(SIM)パイプラインを提案する。
StreamFlowは、挑戦的なKITTIとSintelデータセットのパフォーマンスだけでなく、排他的領域でも特に改善されている。
論文 参考訳（メタデータ） (2023-11-28T07:53:51Z) - Long-term Video Frame Interpolation via Feature Propagation [95.18170372022703]
ビデオフレーム(VFI)は、まず入力間の動きを推定し、次に推定された動きで入力を目標時間にワープすることで、中間フレーム(s)を予測する。
入力シーケンス間の時間的距離が増加すると、このアプローチは最適ではない。
本稿では,従来の特徴レベルの予測を新しいモーション・トゥ・フェース・アプローチで拡張した伝搬ネットワーク(PNet)を提案する。
論文 参考訳（メタデータ） (2022-03-29T10:47:06Z) - Self-Supervised Multi-Frame Monocular Scene Flow [61.588808225321735]
自己監督学習に基づくマルチフレーム一眼的シーンフローネットワークを導入。
自己監督学習に基づく単眼的シーンフロー法における最新の精度を観察する。
論文 参考訳（メタデータ） (2021-05-05T17:49:55Z) - Unsupervised Motion Representation Enhanced Network for Action
Recognition [4.42249337449125]
連続するフレーム間の動きの表現は、ビデオの理解を大いに促進することが証明されている。
効果的な光フロー解決器であるTV-L1法は、抽出した光フローをキャッシュするために時間と費用がかかる。
UF-TSN(UF-TSN)は、軽量な非監視光フロー推定器を組み込んだ、エンドツーエンドのアクション認識手法です。
論文 参考訳（メタデータ） (2021-03-05T04:14:32Z) - FlowMOT: 3D Multi-Object Tracking by Scene Flow Association [9.480272707157747]
従来のマッチングアルゴリズムと点運動情報を統合するLiDARベースの3D MOTフレームワークFlowMOTを提案する。
提案手法は,最新のエンドツーエンド手法より優れ,最先端のフィルタ方式と競合する性能を実現する。
論文 参考訳（メタデータ） (2020-12-14T14:03:48Z) - STaRFlow: A SpatioTemporal Recurrent Cell for Lightweight Multi-Frame
Optical Flow Estimation [64.99259320624148]
マルチフレーム光フロー推定のための軽量CNNアルゴリズムを提案する。
結果のSTaRFlowアルゴリズムは、MPI SintelとKitti2015で最先端のパフォーマンスを提供する。
論文 参考訳（メタデータ） (2020-07-10T17:01:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。