論文の概要: Range and Bird's Eye View Fused Cross-Modal Visual Place Recognition

• arxiv url: http://arxiv.org/abs/2502.11742v1
• Date: Mon, 17 Feb 2025 12:29:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:10:35.901252
• Title: Range and Bird's Eye View Fused Cross-Modal Visual Place Recognition
• Title（参考訳）: 視線と鳥の視線を融合した横断的視覚的位置認識
• Authors: Jianyi Peng, Fan Lu, Bin Li, Yuan Huang, Sanqing Qu, Guang Chen,
• Abstract要約: VPR(Image-to-point cloud cross-modal Visual Place Recognition)は、クエリがRGBイメージであり、データベースサンプルがLiDARポイントクラウドである、難しいタスクである。 本稿では,範囲(またはRGB)画像とBird's Eye View(BEV)画像からの情報を効果的に組み合わせた,革新的な初期検索と再ランク手法を提案する。
• 参考スコア（独自算出の注目度）: 10.086473917830112
• License:
• Abstract: Image-to-point cloud cross-modal Visual Place Recognition (VPR) is a challenging task where the query is an RGB image, and the database samples are LiDAR point clouds. Compared to single-modal VPR, this approach benefits from the widespread availability of RGB cameras and the robustness of point clouds in providing accurate spatial geometry and distance information. However, current methods rely on intermediate modalities that capture either the vertical or horizontal field of view, limiting their ability to fully exploit the complementary information from both sensors. In this work, we propose an innovative initial retrieval + re-rank method that effectively combines information from range (or RGB) images and Bird's Eye View (BEV) images. Our approach relies solely on a computationally efficient global descriptor similarity search process to achieve re-ranking. Additionally, we introduce a novel similarity label supervision technique to maximize the utility of limited training data. Specifically, we employ points average distance to approximate appearance similarity and incorporate an adaptive margin, based on similarity differences, into the vanilla triplet loss. Experimental results on the KITTI dataset demonstrate that our method significantly outperforms state-of-the-art approaches.
• Abstract（参考訳）: VPR(Image-to-point cloud cross-modal Visual Place Recognition)は、クエリがRGBイメージであり、データベースサンプルがLiDARポイントクラウドである、難しいタスクである。 単一モードのVPRと比較して、このアプローチはRGBカメラの普及と、正確な空間幾何学と距離情報を提供する点雲の堅牢性から恩恵を受ける。 しかし、現在の手法は、垂直または水平の視野を捉える中間のモードに依存しており、両方のセンサーから補完的な情報を完全に活用する能力は制限されている。 本研究では,範囲(またはRGB)画像とBird's Eye View(BEV)画像からの情報を効果的に組み合わせた,革新的な初期検索と再ランク手法を提案する。 提案手法は,再ランク付けを実現するために,計算効率のよいグローバル記述子類似性探索プロセスにのみ依存する。 さらに,限られたトレーニングデータの有用性を最大化するために,新しい類似性ラベル管理手法を導入する。 具体的には、外観類似度を近似するために平均点距離を用い、類似性差に基づいて適応マージンをバニラ三重項損失に組み込む。 KITTIデータセットの実験結果から,本手法は最先端の手法よりも優れていることが示された。

関連論文リスト

• Monocular Visual Place Recognition in LiDAR Maps via Cross-Modal State Space Model and Multi-View Matching [2.400446821380503]
  我々はRGB画像とポイントクラウドの両方のディスクリプタを学習するための効率的なフレームワークを導入する。 視覚状態空間モデル(VMamba)をバックボーンとして、ピクセルビューとシーンの共同トレーニング戦略を採用している。 視覚的な3Dポイントオーバーラップ戦略は、マルチビューの監視のために、ポイントクラウドビューとRGBイメージの類似性を定量化するように設計されている。
  論文  参考訳（メタデータ） (2024-10-08T18:31:41Z)
• CricaVPR: Cross-image Correlation-aware Representation Learning for Visual Place Recognition [73.51329037954866]
  視覚的位置認識のための画像間相関認識を用いたロバストなグローバル表現手法を提案する。 本手法では,バッチ内の複数の画像の相関にアテンション機構を用いる。 本手法は,訓練時間を大幅に短縮し,最先端の手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-29T15:05:11Z)
• Leveraging BEV Representation for 360-degree Visual Place Recognition [14.497501941931759]
  本稿では,360度視覚位置認識(VPR)におけるBird's Eye View表現の利点について検討する。 本稿では,特徴抽出,特徴集約,視覚-LiDAR融合におけるBEV表現を利用した新しいネットワークアーキテクチャを提案する。 提案手法は,2つのデータセットのアブレーションおよび比較研究において評価される。
  論文  参考訳（メタデータ） (2023-05-23T08:29:42Z)
• Clothes Grasping and Unfolding Based on RGB-D Semantic Segmentation [21.950751953721817]
  セグメンテーションのための双方向フラクタルクロスフュージョンネットワーク(BiFCNet)を提案する。 我々は、Fractal Cross FusionモジュールがRGBと深度データを融合するネットワークへの入力として、リッチな色特徴を持つRGB画像を使用する。 実データ収集のコストを削減するため,敵対的戦略に基づくデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2023-05-05T03:21:55Z)
• Geometric-aware Pretraining for Vision-centric 3D Object Detection [77.7979088689944]
  GAPretrainと呼ばれる新しい幾何学的事前学習フレームワークを提案する。 GAPretrainは、複数の最先端検出器に柔軟に適用可能なプラグアンドプレイソリューションとして機能する。 BEVFormer法を用いて, nuScenes val の 46.2 mAP と 55.5 NDS を実現し, それぞれ 2.7 と 2.1 点を得た。
  論文  参考訳（メタデータ） (2023-04-06T14:33:05Z)
• Semantic keypoint-based pose estimation from single RGB frames [64.80395521735463]
  一つのRGB画像からオブジェクトの連続6-DoFポーズを推定する手法を提案する。 このアプローチは、畳み込みネットワーク(convnet)によって予測されるセマンティックキーポイントと、変形可能な形状モデルを組み合わせる。 提案手法は,インスタンスベースのシナリオとクラスベースのシナリオの両方に対して,6-DoFオブジェクトのポーズを正確に復元できることを示す。
  論文  参考訳（メタデータ） (2022-04-12T15:03:51Z)
• Towards Scale Consistent Monocular Visual Odometry by Learning from the Virtual World [83.36195426897768]
  仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。 まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。 結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
  論文  参考訳（メタデータ） (2022-03-11T01:51:54Z)
• Refer-it-in-RGBD: A Bottom-up Approach for 3D Visual Grounding in RGBD Images [69.5662419067878]
  RGBD画像における接地参照表現は新たな分野である。 本稿では,参照する物体が閉塞により部分的にスキャンされる場合が多い単視点rgbd画像における3次元視覚グランド化の新たな課題を提案する。 提案手法はまず,RGBD画像内の関連領域をローカライズするヒートマップを生成するために,下層の言語と視覚的特徴を融合させる。 次に、ヒートマップに基づく適応的特徴学習を行い、他のビジオ言語融合とオブジェクトレベルのマッチングを行い、最後に参照したオブジェクトを接地する。
  論文  参考訳（メタデータ） (2021-03-14T11:18:50Z)
• Robust Place Recognition using an Imaging Lidar [45.37172889338924]
  本研究では,画像lidarを用いたロバストなリアルタイム位置認識手法を提案する。 本手法は真不変であり,逆再訪と逆逆再訪に対処できる。
  論文  参考訳（メタデータ） (2021-03-03T01:08:31Z)
• Memory-Augmented Reinforcement Learning for Image-Goal Navigation [67.3963444878746]
  本論文では,クロスエピソードメモリを活用したナビゲーション学習法を提案する。 オーバーフィッティングを避けるため、トレーニング中にRGB入力にデータ拡張を適用することを提案する。 この競合性能はRGB入力のみから得られるが,位置や深度などのセンサは利用できない。
  論文  参考訳（メタデータ） (2021-01-13T16:30:20Z)
• LCD -- Line Clustering and Description for Place Recognition [29.053923938306323]
  本稿では,RGB-Dカメラとラインクラスタを視覚的および幾何学的特徴として利用し,位置認識のための新しい学習ベースのアプローチを提案する。 本稿では,フレームワイド線クラスタリングのアテンション機構に基づくニューラルネットワークアーキテクチャを提案する。 同様のニューラルネットワークは、128個の浮動小数点数のコンパクトな埋め込みによるこれらのクラスタの記述に使用される。
  論文  参考訳（メタデータ） (2020-10-21T09:52:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。