Fugu-MT 論文翻訳(概要): MeshVPR: Citywide Visual Place Recognition Using 3D Meshes

論文の概要: MeshVPR: Citywide Visual Place Recognition Using 3D Meshes

arxiv url: http://arxiv.org/abs/2406.02776v1
Date: Tue, 4 Jun 2024 20:45:53 GMT
ステータス: 処理完了
システム内更新日: 2024-06-06 22:47:37.775685
Title: MeshVPR: Citywide Visual Place Recognition Using 3D Meshes
Title（参考訳）: MeshVPR: 3Dメッシュを用いた都市全体の視覚的位置認識
Authors: Gabriele Berton, Lorenz Junglas, Riccardo Zaccone, Thomas Pollok, Barbara Caputo, Carlo Masone,
Abstract要約: メッシュベースのシーン表現は、大規模な階層的な視覚的ローカライゼーションパイプラインを簡素化するための有望な方向を提供する。既存の研究は、視覚的ローカライゼーションのためのメッシュの実現可能性を示しているが、視覚的位置認識においてそれらから生成された合成データベースを使用することによる影響は、明らかにされていない。実世界のドメインと合成ドメインのギャップを埋めるために、軽量な特徴アライメントフレームワークを利用する新しいVPRパイプラインであるMeshVPRを提案する。
参考スコア（独自算出の注目度）: 18.168206222895282
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Mesh-based scene representation offers a promising direction for simplifying large-scale hierarchical visual localization pipelines, combining a visual place recognition step based on global features (retrieval) and a visual localization step based on local features. While existing work demonstrates the viability of meshes for visual localization, the impact of using synthetic databases rendered from them in visual place recognition remains largely unexplored. In this work we investigate using dense 3D textured meshes for large-scale Visual Place Recognition (VPR) and identify a significant performance drop when using synthetic mesh-based databases compared to real-world images for retrieval. To address this, we propose MeshVPR, a novel VPR pipeline that utilizes a lightweight features alignment framework to bridge the gap between real-world and synthetic domains. MeshVPR leverages pre-trained VPR models and it is efficient and scalable for city-wide deployments. We introduce novel datasets with freely available 3D meshes and manually collected queries from Berlin, Paris, and Melbourne. Extensive evaluations demonstrate that MeshVPR achieves competitive performance with standard VPR pipelines, paving the way for mesh-based localization systems. Our contributions include the new task of citywide mesh-based VPR, the new benchmark datasets, MeshVPR, and a thorough analysis of open challenges. Data, code, and interactive visualizations are available at https://mesh-vpr.github.io
Abstract（参考訳）: メッシュベースのシーン表現は、グローバル機能(検索)に基づく視覚的位置認識ステップと、ローカル機能に基づく視覚的位置認識ステップを組み合わせた、大規模な階層的な視覚的位置認識パイプラインを簡素化するための有望な方向を提供する。既存の研究は、視覚的ローカライゼーションのためのメッシュの実現可能性を示しているが、視覚的位置認識においてそれらから生成された合成データベースを使用することによる影響は、明らかにされていない。本研究では,大規模な視覚的位置認識(VPR)に高密度な3次元テクスチャメッシュを用い,実世界の画像と比較して,合成メッシュベースのデータベースを使用する場合の顕著な性能低下について検討する。そこで本研究では,現実世界と合成ドメイン間のギャップを埋めるために,軽量な機能アライメントフレームワークを利用する新しいVPRパイプラインであるMeshVPRを提案する。 MeshVPRはトレーニング済みのVPRモデルを活用する。フリーで利用可能な3Dメッシュを備えた新しいデータセットを導入し、ベルリン、パリ、メルボルンから手動でクエリを収集します。大規模な評価は、MeshVPRが標準のVPRパイプラインと競合する性能を達成し、メッシュベースのローカライゼーションシステムへの道を開いたことを示している。私たちのコントリビューションには、都市全体のメッシュベースのVPRの新たなタスク、新しいベンチマークデータセット、MeshVPR、オープン課題の詳細な分析などが含まれています。データ、コード、インタラクティブな視覚化はhttps://mesh-vpr.github.ioで公開されている。

関連論文リスト

SimpleMapping: Real-Time Visual-Inertial Dense Mapping with Deep Multi-View Stereo [13.535871843518953]
モノクロ画像とIMU読解のみを用いた高画質のリアルタイムビジュアル慣性高密度マッピング法を提案する。そこで本稿では,VIOシステムから得られる情報的だがノイズの多いスパースポイントを効果的に活用できるスパースポイント支援ステレオニューラルネットワーク(SPA-MVSNet)を提案する。提案手法は,EuRoCデータセットの難易度評価において,既存システムよりも39.7%のFスコア向上を実現している。
論文参考訳（メタデータ） (2023-06-14T17:28:45Z)
Neural Implicit Dense Semantic SLAM [83.04331351572277]
本稿では,屋内シーンのメモリ効率,高密度な3次元形状,セマンティックセマンティックセグメンテーションをオンラインで学習する新しいRGBD vSLAMアルゴリズムを提案する。私たちのパイプラインは、従来の3Dビジョンベースのトラッキングとループクローズとニューラルフィールドベースのマッピングを組み合わせたものです。提案アルゴリズムはシーン認識を大幅に向上させ,様々なロボット制御問題を支援する。
論文参考訳（メタデータ） (2023-04-27T23:03:52Z)
Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud Analysis [66.49788145564004]
我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
論文参考訳（メタデータ） (2022-12-17T15:05:25Z)
MeshLoc: Mesh-Based Visual Localization [54.731309449883284]
シーン表現を構築するために,データベースイメージ間のマッチング機能を必要としない,高密度な3Dメッシュに基づく,より柔軟な代替手段を模索する。驚くべきことに、ニューラルネットワークのレンダリングステージなしで、これらのメッシュのレンダリングの特徴を抽出するときに、競合的な結果が得られる。以上の結果から,高密度な3次元モデルに基づく表現は,既存の表現の代替として有望なものであり,今後の研究にとって興味深い,挑戦的な方向性を示すものと考えられる。
論文参考訳（メタデータ） (2022-07-21T21:21:10Z)
CrossLoc: Scalable Aerial Localization Assisted by Multimodal Synthetic Data [2.554905387213586]
本稿では,合成データを用いて実世界のカメラポーズを推定する視覚的位置決めシステムを提案する。データ不足を緩和するために,汎用な合成データ生成ツールTOPO-DataGenを導入する。また、ポーズ推定のためのクロスモーダル視覚表現学習手法であるCrossLocを導入する。
論文参考訳（メタデータ） (2021-12-16T18:05:48Z)
TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view Stereo [55.30992853477754]
本稿では,リアルタイムな単分子追跡と高密度フレームワークであるTANDEMを紹介する。ポーズ推定のために、TANDEMはアライメントのスライディングウィンドウに基づいて光度バンドル調整を行う。 TANDEMは最先端のリアルタイム3D再構成性能を示す。
論文参考訳（メタデータ） (2021-11-14T19:01:02Z)
VS-Net: Voting with Segmentation for Visual Localization [72.8165619061249]
本稿では,クエリ画像と3Dマップ間の2次元から3次元の対応を学習可能なシーン固有のランドマークで構築する,新しい視覚的ローカライゼーションフレームワークを提案する。提案したVS-Netは、複数の公開ベンチマークで広範囲にテストされており、最先端のビジュアルローカライゼーション手法より優れている。
論文参考訳（メタデータ） (2021-05-23T08:44:11Z)
H3D: Benchmark on Semantic Segmentation of High-Resolution 3D Point Clouds and textured Meshes from UAV LiDAR and Multi-View-Stereo [4.263987603222371]
本稿では,3つの方法でユニークな3次元データセットを提案する。ヘシグハイム(ドイツ語: Hessigheim, H3D)は、ドイツの都市。片手で3次元データ分析の分野での研究を促進するとともに、新しいアプローチの評価とランク付けを目的としている。
論文参考訳（メタデータ） (2021-02-10T09:33:48Z)
Robust Image Retrieval-based Visual Localization using Kapture [10.249293519246478]
視覚的ローカライゼーションのための多用途パイプラインを提案する。 8つの公開データセットで評価し、それらが上位にランクされ、その多くが上位にランクされている。今後の研究を促進するため、我々は、BSDライセンス下でオープンソースであるKaptureフォーマットで、コード、モデル、およびすべてのデータセットをリリースする。
論文参考訳（メタデータ） (2020-07-27T21:10:35Z)
DH3D: Deep Hierarchical 3D Descriptors for Robust Large-Scale 6DoF Relocalization [56.15308829924527]
生の3D点から直接3次元特徴の検出と記述を共同で学習するシームズネットワークを提案する。 3次元キーポイントを検出するために,局所的な記述子の識別性を教師なしで予測する。各種ベンチマーク実験により,本手法はグローバルポイントクラウド検索とローカルポイントクラウド登録の両面で競合する結果が得られた。
論文参考訳（メタデータ） (2020-07-17T20:21:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。