論文の概要: Modelling Neighbor Relation in Joint Space-Time Graph for Video Correspondence Learning

• arxiv url: http://arxiv.org/abs/2109.13499v1
• Date: Tue, 28 Sep 2021 05:40:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-29 14:45:31.546581
• Title: Modelling Neighbor Relation in Joint Space-Time Graph for Video Correspondence Learning
• Title（参考訳）: ビデオ対応学習のための共同空間時間グラフにおける近傍関係のモデル化
• Authors: Zixu Zhao, Yueming Jin, Pheng-Ann Heng
• Abstract要約: 本稿では、ラベルなしビデオから信頼できる視覚対応を学習するための自己教師付き手法を提案する。 接続時空間グラフでは,ノードがフレームからサンプリングされたグリッドパッチであり,2種類のエッジによってリンクされる。 学習した表現は、様々な視覚的タスクにおいて最先端の自己監督手法よりも優れています。
• 参考スコア（独自算出の注目度）: 53.74240452117145
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper presents a self-supervised method for learning reliable visual correspondence from unlabeled videos. We formulate the correspondence as finding paths in a joint space-time graph, where nodes are grid patches sampled from frames, and are linked by two types of edges: (i) neighbor relations that determine the aggregation strength from intra-frame neighbors in space, and (ii) similarity relations that indicate the transition probability of inter-frame paths across time. Leveraging the cycle-consistency in videos, our contrastive learning objective discriminates dynamic objects from both their neighboring views and temporal views. Compared with prior works, our approach actively explores the neighbor relations of central instances to learn a latent association between center-neighbor pairs (e.g., "hand -- arm") across time, thus improving the instance discrimination. Without fine-tuning, our learned representation outperforms the state-of-the-art self-supervised methods on a variety of visual tasks including video object propagation, part propagation, and pose keypoint tracking. Our self-supervised method also surpasses some fully supervised algorithms designed for the specific tasks.
• Abstract（参考訳）: 本稿では,ラベルなしビデオから信頼できる視覚対応を学習するための自己教師あり手法を提案する。 我々は,ノードがフレームからサンプリングされたグリッドパッチであり,2種類のエッジでリンクされるジョイント時空グラフにおける経路探索として対応式を定式化する。 (i)宇宙空間におけるフレーム内近傍からの凝集強度を決定する近傍関係、及び (II)時間経過に伴うフレーム間パスの遷移確率を示す類似性関係。 ビデオのサイクルコンシスタンスを活用することで、コントラスト学習目標は、隣接するビューとテンポラルビューの両方から動的オブジェクトを識別する。 先行研究と比較して,本手法は,中央インスタンスの隣接関係を積極的に探究し,中心-隣接ペア(例えば「手-腕」)間の潜伏関係を学習し,インスタンス識別を改善する。 微調整なしでは、ビデオオブジェクトの伝搬、部分の伝搬、キーポイントの追跡といった様々な視覚的タスクにおいて、最先端の自己監督手法よりも優れる。 我々の自己監督手法は、特定のタスク用に設計された完全に教師付きアルゴリズムを超越する。

関連論文リスト

• Self-Supervised Correspondence Estimation via Multiview Registration [88.99287381176094]
  ビデオは、視覚学習に必要な同期時間一貫性を提供します。 近年のアプローチでは、この信号を用いて、近接フレーム対からの対応推定を学習している。 短いRGB-Dビデオシーケンスにおけるマルチビュー一貫性から学習する対応推定のための自己教師付きアプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-06T18:59:02Z)
• Multiple Object Tracking with Correlation Learning [16.959379957515974]
  本研究では,局所相関モジュールを用いて,対象と周辺環境のトポロジカルな関係をモデル化する。 具体的には,各空間の位置とその文脈の密接な対応を確立し,自己教師付き学習を通じて相関量を明確に制約する。 提案手法は, 相関学習と優れた性能の相関学習の有効性を示し, MOT17では76.5%, IDF1では73.6%の最先端MOTAが得られる。
  論文  参考訳（メタデータ） (2021-04-08T06:48:02Z)
• Temporal Contrastive Graph Learning for Video Action Recognition and Retrieval [83.56444443849679]
  本研究では,動画内の時間依存性を利用して,TCGL (temporal Contrastive Graph Learning) という新たな自己監督手法を提案する。 TCGLは、スニペット間およびスニペット内時間依存性を時間表現学習のための自己監督信号として共同で評価するハイブリッドグラフコントラスト学習戦略をルーツとしています。 実験結果は、大規模アクション認識およびビデオ検索ベンチマークにおける最先端の方法よりも、TCGLの優位性を示しています。
  論文  参考訳（メタデータ） (2021-01-04T08:11:39Z)
• Contrastive Transformation for Self-supervised Correspondence Learning [120.62547360463923]
  野生のラベルのない動画を用いて,視覚的対応の自己監督学習について検討する。 本手法は,信頼性の高い対応推定のための映像内および映像間表現関連を同時に検討する。 我々のフレームワークは、近年の視覚的タスクにおける自己監督型対応手法よりも優れています。
  論文  参考訳（メタデータ） (2020-12-09T14:05:06Z)
• Space-Time Correspondence as a Contrastive Random Walk [47.40711876423659]
  我々は,ビデオから構築した時空間グラフにおけるリンクの予測として対応をキャストした。 ペアの類似性がランダムウォークの遷移確率を定義する表現を学習する。 我々は、エッジドロップアウトと呼ばれる手法と、テスト時の自己教師付き適応が、オブジェクト中心の対応の転送をさらに改善することを示した。
  論文  参考訳（メタデータ） (2020-06-25T17:56:05Z)
• Co-Saliency Spatio-Temporal Interaction Network for Person Re-Identification in Videos [85.6430597108455]
  本稿では,ビデオにおける人物の身元確認のためのCSTNet(Co-Saliency Spatio-Temporal Interaction Network)を提案する。 ビデオフレーム間の共通した有意な前景領域をキャプチャし、そのような領域からの空間的時間的長距離コンテキストの相互依存性を探索する。 CSTNet内の複数の空間的時間的相互作用モジュールを提案し,その特徴と空間的時間的情報相関の空間的・時間的長期的相互依存性を利用した。
  論文  参考訳（メタデータ） (2020-04-10T10:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。