論文の概要: Space-Time Correspondence as a Contrastive Random Walk

• arxiv url: http://arxiv.org/abs/2006.14613v2
• Date: Thu, 3 Dec 2020 18:59:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 03:59:04.221912
• Title: Space-Time Correspondence as a Contrastive Random Walk
• Title（参考訳）: 相対的ランダムウォークとしての時空間対応
• Authors: Allan Jabri, Andrew Owens, Alexei A. Efros
• Abstract要約: 我々は,ビデオから構築した時空間グラフにおけるリンクの予測として対応をキャストした。 ペアの類似性がランダムウォークの遷移確率を定義する表現を学習する。 我々は、エッジドロップアウトと呼ばれる手法と、テスト時の自己教師付き適応が、オブジェクト中心の対応の転送をさらに改善することを示した。
• 参考スコア（独自算出の注目度）: 47.40711876423659
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a simple self-supervised approach for learning a representation for visual correspondence from raw video. We cast correspondence as prediction of links in a space-time graph constructed from video. In this graph, the nodes are patches sampled from each frame, and nodes adjacent in time can share a directed edge. We learn a representation in which pairwise similarity defines transition probability of a random walk, so that long-range correspondence is computed as a walk along the graph. We optimize the representation to place high probability along paths of similarity. Targets for learning are formed without supervision, by cycle-consistency: the objective is to maximize the likelihood of returning to the initial node when walking along a graph constructed from a palindrome of frames. Thus, a single path-level constraint implicitly supervises chains of intermediate comparisons. When used as a similarity metric without adaptation, the learned representation outperforms the self-supervised state-of-the-art on label propagation tasks involving objects, semantic parts, and pose. Moreover, we demonstrate that a technique we call edge dropout, as well as self-supervised adaptation at test-time, further improve transfer for object-centric correspondence.
• Abstract（参考訳）: 本稿では,生映像から視覚対応表現を学習するための単純自己教師あり手法を提案する。 ビデオから構築した時空間グラフにおいて,リンクの予測として対応性を示す。 このグラフでは、各フレームからノードをサンプリングし、隣接するノードは有向エッジを共有することができる。 我々は、ランダムウォークの遷移確率を定義するペアワイズ類似性の表現を学習し、長距離対応をグラフに沿ってウォークとして計算する。 類似性の経路に沿って高い確率を示すために表現を最適化する。 学習の目的は、フレームのパリンドロームから構築されたグラフに沿って歩くときに初期ノードに戻る可能性を最大化することである。 したがって、単一の経路レベルの制約は、中間比較の連鎖を暗黙的に監督する。 適応のない類似度メトリクスとして使用する場合、学習表現は、オブジェクト、意味部分、ポーズを含むラベル伝搬タスクにおいて、自己教師あり状態よりも優れる。 さらに,我々がエッジドロップアウトと呼ぶ手法と,テスト時の自己教師付き適応によって,オブジェクト中心対応の転送がさらに向上することを示す。

関連論文リスト

• Entropy Neural Estimation for Graph Contrastive Learning [9.032721248598088]
  グラフ上のコントラスト学習は、ノードの区別可能な高レベル表現を抽出することを目的としている。 本稿では,データセットのビュー間のペアワイズ表現を対比する,単純かつ効果的なサブセットサンプリング戦略を提案する。 7つのグラフベンチマークで広範な実験を行い、提案手法は競合性能を実現する。
  論文  参考訳（メタデータ） (2023-07-26T03:55:08Z)
• Line Graph Contrastive Learning for Link Prediction [4.876567687745239]
  多視点情報を得るために,Line Graph Contrastive Learning (LGCL)法を提案する。 6つの公開データセットの実験により、LGCLはリンク予測タスクの現在のベンチマークを上回っている。
  論文  参考訳（メタデータ） (2022-10-25T06:57:00Z)
• Generative Subgraph Contrast for Self-Supervised Graph Representation Learning [16.374143635724327]
  本稿では, 適応部分グラフ生成をベースとした, 効率的かつ堅牢な自己教師付きグラフ表現学習のためのコントラスト学習フレームワークを提案する。 本研究の目的は,グラフの内在的構造を捕捉し,サブグラフの特徴と構造に基づいてサンプルを同時に識別することで,対照的なサンプルを生成することである。
  論文  参考訳（メタデータ） (2022-07-25T09:08:46Z)
• REGTR: End-to-end Point Cloud Correspondences with Transformers [79.52112840465558]
  我々は、注意機構が明示的な特徴マッチングとRANSACの役割を置き換えることができると推測する。 本稿では,最終文集合を直接予測するエンドツーエンドフレームワークを提案する。 提案手法は3DMatchおよびModelNetベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-28T06:01:00Z)
• Probabilistic Warp Consistency for Weakly-Supervised Semantic Correspondences [118.6018141306409]
  本稿では,セマンティックマッチングのための弱教師付き学習目標である確率ワープ一貫性を提案する。 まず、同じオブジェクトクラスの異なるインスタンスを表現したペアで、既知のワープを画像の1つに適用することで、画像トリプルを構築する。 我々の目的はまた、キーポイントアノテーションと組み合わせることで、強く監督された体制を大幅に改善する。
  論文  参考訳（メタデータ） (2022-03-08T18:55:11Z)
• Temporally-Consistent Surface Reconstruction using Metrically-Consistent Atlases [131.50372468579067]
  そこで本稿では,時間変化点雲列から時間一貫性のある面列を復元する手法を提案する。 我々は、再構成された表面をニューラルネットワークによって計算されたアトラスとして表現し、フレーム間の対応性を確立することができる。 当社のアプローチは、いくつかの挑戦的なデータセットにおいて、最先端のものよりも優れています。
  論文  参考訳（メタデータ） (2021-11-12T17:48:25Z)
• Modelling Neighbor Relation in Joint Space-Time Graph for Video Correspondence Learning [53.74240452117145]
  本稿では、ラベルなしビデオから信頼できる視覚対応を学習するための自己教師付き手法を提案する。 接続時空間グラフでは,ノードがフレームからサンプリングされたグリッドパッチであり,2種類のエッジによってリンクされる。 学習した表現は、様々な視覚的タスクにおいて最先端の自己監督手法よりも優れています。
  論文  参考訳（メタデータ） (2021-09-28T05:40:01Z)
• Towards Efficient Scene Understanding via Squeeze Reasoning [71.1139549949694]
  我々はSqueeze Reasoningと呼ばれる新しいフレームワークを提案する。 空間地図上の情報を伝播するのではなく、まず入力特徴をチャネルワイドなグローバルベクトルに絞ることを学ぶ。 提案手法はエンドツーエンドのトレーニングブロックとしてモジュール化可能であり,既存のネットワークに簡単に接続可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-06T12:17:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。