論文の概要: iMatching: Imperative Correspondence Learning

• arxiv url: http://arxiv.org/abs/2312.02141v1
• Date: Mon, 4 Dec 2023 18:58:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 14:08:56.799220
• Title: iMatching: Imperative Correspondence Learning
• Title（参考訳）: imatching: 命令的対応学習
• Authors: Zitong Zhan, Dasong Gao, Yun-Jou Lin, Youjie Xia, Chen Wang
• Abstract要約: 特徴対応学習のための自己指導型命令型学習(IL)を導入する。 カメラのポーズやディープラベルを使わずに、任意の未中断ビデオの対応学習を可能にする。 特徴マッチングやポーズ推定などのタスクにおいて,優れた性能を示す。
• 参考スコア（独自算出の注目度）: 5.974164730742711
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning feature correspondence is a foundational task in computer vision, holding immense importance for downstream applications such as visual odometry and 3D reconstruction. Despite recent progress in data-driven models, feature correspondence learning is still limited by the lack of accurate per-pixel correspondence labels. To overcome this difficulty, we introduce a new self-supervised scheme, imperative learning (IL), for training feature correspondence. It enables correspondence learning on arbitrary uninterrupted videos without any camera pose or depth labels, heralding a new era for self-supervised correspondence learning. Specifically, we formulated the problem of correspondence learning as a bilevel optimization, which takes the reprojection error from bundle adjustment as a supervisory signal for the model. To avoid large memory and computation overhead, we leverage the stationary point to effectively back-propagate the implicit gradients through bundle adjustment. Through extensive experiments, we demonstrate superior performance on tasks including feature matching and pose estimation, in which we obtained an average of 30% accuracy gain over the state-of-the-art matching models.
• Abstract（参考訳）: 学習特徴対応はコンピュータビジョンの基本課題であり、視覚計測や3次元再構成といった下流の応用において極めて重要である。 データ駆動型モデルの最近の進歩にもかかわらず、画素ごとの正確な対応ラベルがないため、特徴対応学習はまだ限られている。 この課題を克服するために,我々は特徴対応を訓練するための新しい自己教師あり学習(il)を提案する。 カメラのポーズや奥行きラベルなしで、任意の不干渉ビデオで対応学習が可能で、自己教師付き対応学習の新しい時代を告げる。 具体的には,2段階最適化として対応学習の問題を定式化し,バンドル調整から再投影誤差をモデル監視信号とする。 大きなメモリと計算のオーバーヘッドを避けるために、静止点を利用して、バンドル調整によって暗黙の勾配を効果的にバックプロパゲーションします。 広範な実験により,特徴マッチングやポーズ推定などのタスクにおいて,最先端のマッチングモデルと比較して平均30%の精度向上が得られた。

関連論文リスト

• Gradient Boosting Mapping for Dimensionality Reduction and Feature Extraction [2.778647101651566]
  教師あり学習における根本的な問題は、優れた特徴や距離尺度を見つけることである。 本稿では,弱い学習者の出力が埋め込みを定義する,教師付き次元削減手法を提案する。 組込み座標は教師付き学習タスクにより良い機能を提供することを示す。
  論文  参考訳（メタデータ） (2024-05-14T10:23:57Z)
• Learning Cross-view Visual Geo-localization without Ground Truth [48.51859322439286]
  CVGL(Cross-View Geo-Localization)は、クエリ画像の地理的位置を対応するGPSタグ付き参照画像とマッチングすることで決定する。 現在の最先端の手法は、ラベル付きペア画像によるトレーニングモデルに依存しており、かなりのアノテーションコストとトレーニングの負担が伴う。 CVGLにおける凍結モデルの適用について,真理ペアラベルを必要とせずに検討する。
  論文  参考訳（メタデータ） (2024-03-19T13:01:57Z)
• Improving Semantic Correspondence with Viewpoint-Guided Spherical Maps [39.00415825387414]
  そこで本研究では, 識別的特徴を3次元的理解で補う意味対応推定手法を提案する。 より複雑な3Dパイプラインと比較して、我々のモデルは弱い視点情報しか必要とせず、球面表現の単純さにより、トレーニング中に情報的幾何学的先行情報をモデルに注入することができる。 本研究では,SPair-71kデータセットを用いて,複数のオブジェクトカテゴリにまたがる対称なビューと繰り返し部分の区別が可能であることを実証した。
  論文  参考訳（メタデータ） (2023-12-20T17:35:24Z)
• Match me if you can: Semantic Correspondence Learning with Unpaired Images [82.05105090432025]
  制限された画像対とスパース点対の両方を補完する、ラベルのないペアでトレーニングを行う、単純で効果的な方法を提案する。 簡単な教師/学生の枠組みを用いて,学生ネットワークに信頼性の高い擬似通信を機械の監督を通じて提供する。 我々のモデルは,セマンティック対応ベンチマークの最先端手法を含む,マイルストーンベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-11-30T13:22:15Z)
• Q-REG: End-to-End Trainable Point Cloud Registration with Surface Curvature [81.25511385257344]
  本稿では、リッチな幾何学的情報を用いて、単一の対応から剛性ポーズを推定する新しい解Q-REGを提案する。 Q-REGは、堅牢な推定を徹底的な探索として形式化し、エンドツーエンドのトレーニングを可能にする。 実験では、Q-REGは対応マッチング法に非依存であり、推論とエンドツーエンドトレーニングの両方で使用した場合に一貫した改善を提供する。
  論文  参考訳（メタデータ） (2023-09-27T20:58:53Z)
• S$^2$Contact: Graph-based Network for 3D Hand-Object Contact Estimation with Semi-Supervised Learning [70.72037296392642]
  モノクロ画像から接触を学習できる新しい半教師付きフレームワークを提案する。 具体的には、大規模データセットにおける視覚的および幾何学的整合性制約を利用して擬似ラベルを生成する。 より正確な再構築を行うために手動インタラクションを規定するコンタクトマップを使用することの利点を示す。
  論文  参考訳（メタデータ） (2022-08-01T14:05:23Z)
• Self-Supervised 3D Hand Pose Estimation from monocular RGB via Contrastive Learning [50.007445752513625]
  本稿では,3次元ポーズ推定における構造化回帰タスクに対する自己教師付き手法を提案する。 我々は、不変および同変のコントラスト目的の影響を実験的に検討した。 追加のラベル付きデータに基づいてトレーニングされた標準のResNet-152が、FreiHAND上のPA-EPEで7.6%の改善を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:48:57Z)
• Warp Consistency for Unsupervised Learning of Dense Correspondences [116.56251250853488]
  密接な対応を学習する上で重要な課題は、実画像対に対する地道整合の欠如である。 密な対応回帰のための教師なし学習目標であるWarp Consistencyを提案する。 私たちのアプローチは、MegaDepth、RobotCar、TSSなど、いくつかの挑戦的なベンチマークに新しい最先端を設定します。
  論文  参考訳（メタデータ） (2021-04-07T17:58:22Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。