論文の概要: Self-Supervised Correspondence Estimation via Multiview Registration

• arxiv url: http://arxiv.org/abs/2212.03236v1
• Date: Tue, 6 Dec 2022 18:59:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 17:17:09.297573
• Title: Self-Supervised Correspondence Estimation via Multiview Registration
• Title（参考訳）: マルチビュー登録による自己教師付き対応推定
• Authors: Mohamed El Banani, Ignacio Rocco, David Novotny, Andrea Vedaldi, Natalia Neverova, Justin Johnson, Benjamin Graham
• Abstract要約: ビデオは、視覚学習に必要な同期時間一貫性を提供します。 近年のアプローチでは、この信号を用いて、近接フレーム対からの対応推定を学習している。 短いRGB-Dビデオシーケンスにおけるマルチビュー一貫性から学習する対応推定のための自己教師付きアプローチを提案する。
• 参考スコア（独自算出の注目度）: 88.99287381176094
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video provides us with the spatio-temporal consistency needed for visual learning. Recent approaches have utilized this signal to learn correspondence estimation from close-by frame pairs. However, by only relying on close-by frame pairs, those approaches miss out on the richer long-range consistency between distant overlapping frames. To address this, we propose a self-supervised approach for correspondence estimation that learns from multiview consistency in short RGB-D video sequences. Our approach combines pairwise correspondence estimation and registration with a novel SE(3) transformation synchronization algorithm. Our key insight is that self-supervised multiview registration allows us to obtain correspondences over longer time frames; increasing both the diversity and difficulty of sampled pairs. We evaluate our approach on indoor scenes for correspondence estimation and RGB-D pointcloud registration and find that we perform on-par with supervised approaches.
• Abstract（参考訳）: ビデオは、視覚学習に必要な時空間一貫性を提供する。 近年,この信号を用いたフレームペア間の対応推定手法が提案されている。 しかし、近接フレームペアのみに依存することによって、これらのアプローチは、遠方の重なり合うフレーム間のよりリッチな長距離一貫性を欠いている。 そこで本研究では,短いRGB-Dビデオシーケンスにおけるマルチビュー一貫性から学習する対応推定のための自己教師型アプローチを提案する。 本手法は,ペアワイズ対応推定と登録と新しいse(3)変換同期アルゴリズムを組み合わせたものである。 我々の重要な洞察は、自己監督型マルチビュー登録により、より長い時間枠での対応が得られ、サンプルペアの多様性と難易度が増大するということである。 室内シーンにおける対応推定とrgb-d ポイントクラウド登録の手法を評価し,教師あり手法と対等に実施することを見いだした。

関連論文リスト

• Weakly-supervised Representation Learning for Video Alignment and Analysis [16.80278496414627]
  本稿では,新しい表現学習手法LRPropを紹介する。 提案アルゴリズムは、学習した特徴をよりよくチューニングするために、正規化されたSoftDTW損失も利用する。 我々の新しい表現学習パラダイムは、時間的アライメントタスクにおける技術の現状を一貫して上回ります。
  論文  参考訳（メタデータ） (2023-02-08T14:01:01Z)
• Tracking by Associating Clips [110.08925274049409]
  本稿では,オブジェクト関連をクリップワイドマッチングとして扱う方法を検討する。 我々の新しい視点では、1つの長いビデオシーケンスを複数のショートクリップとみなし、そのトラックはクリップ内とクリップ間の両方で実行される。 この新しい手法の利点は2つある。まず、ビデオチャンキングによって中断フレームをバイパスできるため、エラーの蓄積や伝播の追跡に頑健である。 次に、クリップワイドマッチング中に複数のフレーム情報を集約し、現在のフレームワイドマッチングよりも高精度な長距離トラックアソシエーションを実現する。
  論文  参考訳（メタデータ） (2022-12-20T10:33:17Z)
• Correspondence Matters for Video Referring Expression Comprehension [64.60046797561455]
  ビデオ参照表現(REC)は、文章に記述された参照オブジェクトをビデオフレーム内の視覚領域にローカライズすることを目的としている。 既存の手法では,1)ビデオフレーム間の非一貫性な局所化結果,2)参照オブジェクトとコンテキストオブジェクトの混同という2つの問題に悩まされている。 本稿では、フレーム間およびクロスモーダルの両方で密接な関連性を明確に強化する新しいデュアル対応ネットワーク(DCNet)を提案する。
  論文  参考訳（メタデータ） (2022-07-21T10:31:39Z)
• Modelling Neighbor Relation in Joint Space-Time Graph for Video Correspondence Learning [53.74240452117145]
  本稿では、ラベルなしビデオから信頼できる視覚対応を学習するための自己教師付き手法を提案する。 接続時空間グラフでは,ノードがフレームからサンプリングされたグリッドパッチであり,2種類のエッジによってリンクされる。 学習した表現は、様々な視覚的タスクにおいて最先端の自己監督手法よりも優れています。
  論文  参考訳（メタデータ） (2021-09-28T05:40:01Z)
• Active Annotation of Informative Overlapping Frames in Video Mosaicking Applications [3.5544725140884936]
  シーケンス内での長距離ペアワイズ対応のアクティブアノテーションのための効率的なフレームワークを紹介します。 当社のフレームワークでは,oracleエージェントに情報提供を求めるイメージのペアを提案しています。 モザイクの効率的な構築に加えて、我々の枠組みは副産物として、地上の真実のランドマーク対応を提供する。
  論文  参考訳（メタデータ） (2020-12-30T22:19:19Z)
• Contrastive Transformation for Self-supervised Correspondence Learning [120.62547360463923]
  野生のラベルのない動画を用いて,視覚的対応の自己監督学習について検討する。 本手法は,信頼性の高い対応推定のための映像内および映像間表現関連を同時に検討する。 我々のフレームワークは、近年の視覚的タスクにおける自己監督型対応手法よりも優れています。
  論文  参考訳（メタデータ） (2020-12-09T14:05:06Z)
• Learning multiview 3D point cloud registration [74.39499501822682]
  本稿では,エンドツーエンドで学習可能なマルチビュー3Dポイントクラウド登録アルゴリズムを提案する。 このアプローチは、エンドツーエンドのトレーニングが可能で、計算コストが小さく、最先端のマージンよりも優れています。
  論文  参考訳（メタデータ） (2020-01-15T03:42:14Z)
• Learning and Matching Multi-View Descriptors for Registration of Point Clouds [48.25586496457587]
  まず,複数視点の画像から学習した多視点局所記述子を3次元キーポイント記述のために提案する。 そこで我々は,効率的な推論に基づいて,外乱マッチングを拒否することを目的とした,ロバストなマッチング手法を開発した。 我々は、パブリックスキャンとマルチビューステレオデータセットの登録に対する我々のアプローチの強化を実証した。
  論文  参考訳（メタデータ） (2018-07-16T01:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。