論文の概要: 3DG-STFM: 3D Geometric Guided Student-Teacher Feature Matching

• arxiv url: http://arxiv.org/abs/2207.02375v1
• Date: Wed, 6 Jul 2022 00:53:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-07 13:59:15.416089
• Title: 3DG-STFM: 3D Geometric Guided Student-Teacher Feature Matching
• Title（参考訳）: 3dg-stfm:3次元幾何学的指導学生・教師特徴マッチング
• Authors: Runyu Mao, Chen Bai, Yatong An, Fengqing Zhu, Cheng Lu
• Abstract要約: 一対のイメージ間の密集した視覚的対応を見出すという本質的な課題に取り組む。 これは、テクスチャの悪さ、反復パターン、照明のバリエーション、動きのぼかしなど、さまざまな要因によって難しい問題である。 我々は3DG-STFM(マルチモーダルマッチングモデル)(Teacher)を訓練し、3D密度通信監督の下で深度一貫性を強制する。
• 参考スコア（独自算出の注目度）: 13.409879281942578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We tackle the essential task of finding dense visual correspondences between a pair of images. This is a challenging problem due to various factors such as poor texture, repetitive patterns, illumination variation, and motion blur in practical scenarios. In contrast to methods that use dense correspondence ground-truths as direct supervision for local feature matching training, we train 3DG-STFM: a multi-modal matching model (Teacher) to enforce the depth consistency under 3D dense correspondence supervision and transfer the knowledge to 2D unimodal matching model (Student). Both teacher and student models consist of two transformer-based matching modules that obtain dense correspondences in a coarse-to-fine manner. The teacher model guides the student model to learn RGB-induced depth information for the matching purpose on both coarse and fine branches. We also evaluate 3DG-STFM on a model compression task. To the best of our knowledge, 3DG-STFM is the first student-teacher learning method for the local feature matching task. The experiments show that our method outperforms state-of-the-art methods on indoor and outdoor camera pose estimations, and homography estimation problems. Code is available at: https://github.com/Ryan-prime/3DG-STFM.
• Abstract（参考訳）: 一対のイメージ間の密集した視覚的対応を見つけるための重要な課題に取り組む。 これは、実際のシナリオでは質感の悪さ、反復的なパターン、照明の変動、動きのぼやけなど様々な要因により、難しい問題である。 局所的特徴マッチングトレーニングの直接指導に密接な対応構造を用いる手法とは対照的に、3DG-STFM: Multi-modal matching model (Teacher) を訓練し、3次元の密接な通信監督の下で深度整合を強制し、2次元の単調マッチングモデル (Student) に知識を伝達する。 教師と生徒の両方のモデルは、2つのトランスベースのマッチングモジュールで構成されており、粗密な対極関係を得る。 教師モデルは生徒モデルに、粗い枝と細い枝のマッチング目的のためのRGB誘発深度情報を学ぶよう誘導する。 また,モデル圧縮作業における3DG-STFMの評価を行った。 我々の知る限り、3DG-STFMは局所的特徴マッチングタスクのための最初の学生-教師学習法である。 本手法は,屋内および屋外のカメラポーズ推定やホモグラフィ推定問題において,最先端の手法よりも優れていることを示す。 コードは、https://github.com/Ryan-prime/3DG-STFMで入手できる。

関連論文リスト

• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• Probing the 3D Awareness of Visual Foundation Models [56.68380136809413]
  視覚基礎モデルの3次元認識を解析する。 凍結した特徴に対するタスク固有プローブとゼロショット推論手法を用いて実験を行う。
  論文  参考訳（メタデータ） (2024-04-12T17:58:04Z)
• Learning 3D-Aware GANs from Unposed Images with Template Feature Field [33.32761749864555]
  この研究は、未提示の画像から3D対応のGANを学習することを目的としている。 学習テンプレート特徴場(TeFF)を用いたトレーニング画像のオンザフライポーズ推定を提案する。
  論文  参考訳（メタデータ） (2024-04-08T17:42:08Z)
• LFM-3D: Learnable Feature Matching Across Wide Baselines Using 3D Signals [9.201550006194994]
  学習可能なマーカは、画像ペア間のコビジュアビリティの小さな領域だけが存在する場合、しばしば性能が低下する。 グラフニューラルネットワークに基づくモデルを用いた学習可能な特徴マッチングフレームワーク LFM-3D を提案する。 その結果,画像対の相対的ポーズ精度が向上し,画像対の相対的ポーズ精度が向上することがわかった。
  論文  参考訳（メタデータ） (2023-03-22T17:46:27Z)
• CMD: Self-supervised 3D Action Representation Learning with Cross-modal Mutual Distillation [130.08432609780374]
  3D行動認識では、骨格のモダリティの間に豊富な相補的な情報が存在する。 本稿では,CMD(Cross-modal Mutual Distillation)フレームワークを提案する。 提案手法は,既存の自己管理手法より優れ,新しい記録を多数設定する。
  論文  参考訳（メタデータ） (2022-08-26T06:06:09Z)
• MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D Segmentation [91.6658845016214]
  そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。 複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。 その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
  論文  参考訳（メタデータ） (2022-08-18T00:48:15Z)
• DetMatch: Two Teachers are Better Than One for Joint 2D and 3D Semi-Supervised Object Detection [29.722784254501768]
  DetMatchは、2Dおよび3Dモダリティに関する共同半教師付き学習のための柔軟なフレームワークである。 両方のセンサーで検出された物体を識別することで、パイプラインはよりクリーンで堅牢な擬似ラベルを生成する。 我々はRGB画像のよりリッチなセマンティクスを活用して、誤った3Dクラスの予測を修正し、3Dボックスのローカライズを改善する。
  論文  参考訳（メタデータ） (2022-03-17T17:58:00Z)
• Warp Consistency for Unsupervised Learning of Dense Correspondences [116.56251250853488]
  密接な対応を学習する上で重要な課題は、実画像対に対する地道整合の欠如である。 密な対応回帰のための教師なし学習目標であるWarp Consistencyを提案する。 私たちのアプローチは、MegaDepth、RobotCar、TSSなど、いくつかの挑戦的なベンチマークに新しい最先端を設定します。
  論文  参考訳（メタデータ） (2021-04-07T17:58:22Z)
• Learning 2D-3D Correspondences To Solve The Blind Perspective-n-Point Problem [98.92148855291363]
  本稿では、6-DoFの絶対カメラポーズ2D--3D対応を同時に解決するディープCNNモデルを提案する。 実データとシミュレーションデータの両方でテストした結果,本手法は既存手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-03-15T04:17:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。