論文の概要: Learning Pixel Trajectories with Multiscale Contrastive Random Walks
- arxiv url: http://arxiv.org/abs/2201.08379v1
- Date: Thu, 20 Jan 2022 18:58:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-21 14:19:30.545444
- Title: Learning Pixel Trajectories with Multiscale Contrastive Random Walks
- Title(参考訳): 多スケールコントラストランダムウォークによるピクセル軌跡の学習
- Authors: Zhangxing Bian, Allan Jabri, Alexei A. Efros, Andrew Owens
- Abstract要約: 様々なビデオモデリングタスクは、時空対応の確立という、同じ根本的な課題を共有している。
我々は、最近の対照的なランダムウォークの定式化を、より高密度でピクセルレベルの時空グラフに拡張することで、このギャップを埋めるための一歩を踏み出した。
これにより、光フロー、キーポイントトラッキング、ビデオオブジェクトセグメンテーションの自己教師付き学習のための統一的な技術が確立される。
- 参考スコア(独自算出の注目度): 42.180912739270724
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A range of video modeling tasks, from optical flow to multiple object
tracking, share the same fundamental challenge: establishing space-time
correspondence. Yet, approaches that dominate each space differ. We take a step
towards bridging this gap by extending the recent contrastive random walk
formulation to much denser, pixel-level space-time graphs. The main
contribution is introducing hierarchy into the search problem by computing the
transition matrix between two frames in a coarse-to-fine manner, forming a
multiscale contrastive random walk when extended in time. This establishes a
unified technique for self-supervised learning of optical flow, keypoint
tracking, and video object segmentation. Experiments demonstrate that, for each
of these tasks, the unified model achieves performance competitive with strong
self-supervised approaches specific to that task. Project site:
https://jasonbian97.github.io/flowwalk
- Abstract(参考訳): 光フローから複数の物体追跡まで、様々なビデオモデリングタスクは、時空対応を確立するという同じ根本的な課題を共有している。
しかし、各空間を支配するアプローチは異なる。
我々は、このギャップを埋めるために、最近のコントラスト的ランダムウォークの定式化をより密集したピクセルレベルの時空グラフに拡張する。
主な貢献は、2つのフレーム間の遷移行列を粗い方法で計算し、時間的に拡張された場合、多スケールのコントラストランダムウォークを形成することである。
これにより、光フロー、キーポイントトラッキング、ビデオオブジェクトセグメンテーションの自己教師付き学習が確立される。
実験により、これらのタスク毎に、統一されたモデルは、そのタスク特有の強力な自己監督アプローチと競合するパフォーマンスを達成できることが示される。
プロジェクトサイト: https://jasonbian97.github.io/flowwalk
関連論文リスト
- Unsupervised motion segmentation in one go: Smooth long-term model over
a video [6.853165736531941]
完全教師なし方式で動作させる新しい長期的モデルを提案する。
連続する光学フロー(OF)フィールドの体積を入力として、ビデオ上に一連のコヒーレントな動きのセグメントを出力する。
定量的な結果を得た4つのVOSベンチマーク実験について報告する。
論文 参考訳(メタデータ) (2023-10-02T09:33:54Z) - Shuffled Autoregression For Motion Interpolation [53.61556200049156]
この作業は、モーションタスクのためのディープラーニングソリューションを提供することを目的としている。
本稿では,自己回帰を任意の(シャッフルされた)順序で生成するために拡張する,emphShuffled AutoRegressionと呼ばれる新しいフレームワークを提案する。
また,3つのステージを終端から終端の時空間運動変換器に組み込んだ依存グラフの構築手法を提案する。
論文 参考訳(メタデータ) (2023-06-10T07:14:59Z) - Hybrid Tracker with Pixel and Instance for Video Panoptic Segmentation [50.62685357414904]
ビデオパノプティカル係数(VPS)は、コヒーレントなパノプティカルセグメンテーションを生成し、ビデオフレーム全体の全ピクセルのアイデンティティを追跡することを目的としている。
単一トラッカーの限界を取り除くために,軽量かつ共同的な追跡モデルであるHybridTrackerを提案する。
総合的な実験により、HybridTrackerはCityscapes-VPSとVIPERデータセットの最先端メソッドよりも優れたパフォーマンスを実現している。
論文 参考訳(メタデータ) (2022-03-02T16:21:55Z) - Efficient Video Segmentation Models with Per-frame Inference [117.97423110566963]
推論のオーバーヘッドを導入することなく、時間的一貫性を改善することに注力する。
本稿では,時間的一貫性の喪失やオンライン/オフラインの知識蒸留手法など,ビデオシーケンスから学ぶためのいくつかの手法を提案する。
論文 参考訳(メタデータ) (2022-02-24T23:51:36Z) - FILM: Frame Interpolation for Large Motion [20.04001872133824]
本稿では,2つの入力画像から複数の中間フレームを合成するフレームアルゴリズムを提案する。
提案手法は,Xiph大運動ベンチマークの最先端手法より優れている。
論文 参考訳(メタデータ) (2022-02-10T08:48:18Z) - Learning to Associate Every Segment for Video Panoptic Segmentation [123.03617367709303]
粗いセグメントレベルのマッチングと細かなピクセルレベルのマッチングを同時に学習する。
本研究では,Cityscapes-VPSおよびVIPERデータセット上で,フレーム単位の計算モデルにより,最先端の計算結果が得られることを示す。
論文 参考訳(メタデータ) (2021-06-17T13:06:24Z) - Event-based Motion Segmentation with Spatio-Temporal Graph Cuts [51.17064599766138]
イベントベースカメラで取得したオブジェクトを独立に識別する手法を開発した。
この方法は、予想される移動物体の数を事前に決定することなく、技術状態よりも同等以上の性能を発揮する。
論文 参考訳(メタデータ) (2020-12-16T04:06:02Z) - Unsupervised Spatio-temporal Latent Feature Clustering for
Multiple-object Tracking and Segmentation [0.5591659577198183]
本稿では,時間的識別タスクを異種時間的クラスタリング問題として扱う戦略を提案する。
我々は、畳み込みと完全に接続されたオートエンコーダを用いて、セグメンテーションマスクと検出バウンディングボックスから識別特徴を学習する。
以上の結果から,本手法はいくつかの最先端手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2020-07-14T16:47:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。