論文の概要: Leveraging Cutting Edge Deep Learning Based Image Matching for Reconstructing a Large Scene from Sparse Images

• arxiv url: http://arxiv.org/abs/2310.01092v1
• Date: Mon, 2 Oct 2023 11:05:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 22:22:40.827365
• Title: Leveraging Cutting Edge Deep Learning Based Image Matching for Reconstructing a Large Scene from Sparse Images
• Title（参考訳）: 切り欠き深層学習に基づく画像マッチングを利用したスパース画像からの大規模シーン再構成
• Authors: Georg B\"okman and Johan Edstedt
• Abstract要約: 我々はAISG-SLAビジュアルローカライゼーションチャレンジベンチマーク(IJCAI 2023)の最上位のソリューションを提示する。 課題は、都市部を走行する車に搭載されたカメラによって連続して撮影された画像間の相対的な動きを推定することである。 画像のマッチングには、最新のディープラーニングベースのマーカRoMaを使用します。
• 参考スコア（独自算出の注目度）: 0.9065034043031668
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present the top ranked solution for the AISG-SLA Visual Localisation Challenge benchmark (IJCAI 2023), where the task is to estimate relative motion between images taken in sequence by a camera mounted on a car driving through an urban scene. For matching images we use our recent deep learning based matcher RoMa. Matching image pairs sequentially and estimating relative motion from point correspondences sampled by RoMa already gives very competitive results -- third rank on the challenge benchmark. To improve the estimations we extract keypoints in the images, match them using RoMa, and perform structure from motion reconstruction using COLMAP. We choose our recent DeDoDe keypoints for their high repeatability. Further, we address time jumps in the image sequence by matching specific non-consecutive image pairs based on image retrieval with DINOv2. These improvements yield a solution beating all competitors. We further present a loose upper bound on the accuracy obtainable by the image retrieval approach by also matching hand-picked non-consecutive pairs.
• Abstract（参考訳）: AISG-SLAビジュアルローカライゼーションチャレンジベンチマーク(IJCAI 2023)では,都市部を走行する車に搭載されたカメラで連続して撮影した画像間の相対的な動きを推定する。 画像のマッチングには、最新のディープラーニングベースのマーカRoMaを使用します。 RoMaがサンプリングした点対応から画像ペアを逐次マッチングし、相対的な動きを推定すると、すでに非常に競争力のある結果が得られる。 画像中のキーポイントを抽出し,RoMaを用いてマッチングし,COLMAPを用いた動き再構成による構造解析を行う。 高い再現性のために、最近のデドードキーポイントを選択します。 さらに,DINOv2による画像検索に基づいて,特定の非連続画像ペアをマッチングすることにより,画像シーケンス中の時間ジャンプに対処する。 これらの改善は、すべての競合相手を打ち負かす解決策となる。 さらに, 画像検索手法によって得られる精度のゆるやかな上限を, 選抜された非合成ペアをマッチングすることによって提示する。

関連論文リスト

• ASIC: Aligning Sparse in-the-wild Image Collections [86.66498558225625]
  本稿では,オブジェクトカテゴリのスパース画像コレクションの協調アライメント手法を提案する。 我々は、事前学習された視覚変換器(ViT)モデルの深い特徴から得られるペアワイズ近傍をノイズおよびスパースキーポイントマッチとして利用する。 CUBとSPair-71kベンチマークの実験により,我々の手法はグローバルに一貫した高品質な対応を実現できることが示された。
  論文  参考訳（メタデータ） (2023-03-28T17:59:28Z)
• Efficient and Accurate Co-Visible Region Localization with Matching Key-Points Crop (MKPC): A Two-Stage Pipeline for Enhancing Image Matching Performance [2.714583452862024]
  画像マッチングのためのMKPCアルゴリズムを提案する。 MKPCは、非常に効率と精度のよい視認可能な領域である臨界領域を特定し、提案し、収穫する。 また、画像マッチングモデルや組み合わせと互換性のある、画像マッチングのための一般的な2段階パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-03-24T04:18:13Z)
• Contextual Similarity Aggregation with Self-attention for Visual Re-ranking [96.55393026011811]
  本稿では,自己注意を伴う文脈的類似性集約による視覚的再ランク付け手法を提案する。 提案手法の汎用性と有効性を示すため,4つのベンチマークデータセットの総合的な実験を行った。
  論文  参考訳（メタデータ） (2021-10-26T06:20:31Z)
• Efficient Initial Pose-graph Generation for Global SfM [56.38930515826556]
  本稿では,グローバルなStructure-from-Motionアルゴリズムの初期ポーズグラフ生成を高速化する方法を提案する。 アルゴリズムは1DSfMデータセットから402130の画像ペアでテストされる。
  論文  参考訳（メタデータ） (2020-11-24T09:32:03Z)
• Self-Supervised Ranking for Representation Learning [108.38993212650577]
  本稿では、画像検索コンテキストにおけるランキング問題として定式化することで、自己教師型表現学習のための新しいフレームワークを提案する。 我々は、画像のランダムなビューが正に関連していると考えられるランク付けのための平均精度(AP)を最大化し、表現エンコーダを訓練する。 原則として、ランク付け基準を使用することで、対象中心のキュレートされたデータセットへの依存を排除します。
  論文  参考訳（メタデータ） (2020-10-14T17:24:56Z)
• Image Retrieval for Structure-from-Motion via Graph Convolutional Network [13.040952255039702]
  本稿では,グラフ畳み込みネットワーク(GCN)に基づく新しい検索手法を提案する。 問合せ画像を取り巻くサブグラフを入力データとして構築することにより、問合せ画像と重なり合う領域を持つか否かを学習可能なGCNを採用する。 実験により,本手法は高度にあいまいで重複したシーンの挑戦的データセットにおいて,極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2020-09-17T04:03:51Z)
• Co-Attention for Conditioned Image Matching [91.43244337264454]
  照明, 視点, コンテキスト, 素材に大きな変化がある場合, 野生のイメージペア間の対応性を決定するための新しい手法を提案する。 他のアプローチでは、イメージを個別に扱うことで、画像間の対応を見出すが、その代わりに、画像間の差異を暗黙的に考慮するよう、両画像に条件を付ける。
  論文  参考訳（メタデータ） (2020-07-16T17:32:00Z)
• Image Matching across Wide Baselines: From Paper to Practice [80.9424750998559]
  局所的な特徴とロバストな推定アルゴリズムの包括的なベンチマークを導入する。 パイプラインのモジュール構造は、さまざまなメソッドの容易な統合、構成、組み合わせを可能にします。 適切な設定で、古典的な解決策は依然として芸術の知覚された状態を上回る可能性があることを示す。
  論文  参考訳（メタデータ） (2020-03-03T15:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。