Fugu-MT 論文翻訳(概要): PRFusion: Toward Effective and Robust Multi-Modal Place Recognition with Image and Point Cloud Fusion

論文の概要: PRFusion: Toward Effective and Robust Multi-Modal Place Recognition with Image and Point Cloud Fusion

arxiv url: http://arxiv.org/abs/2410.04939v1
Date: Mon, 7 Oct 2024 11:31:12 GMT
ステータス: 処理完了
システム内更新日: 2024-11-02 01:18:10.013525
Title: PRFusion: Toward Effective and Robust Multi-Modal Place Recognition with Image and Point Cloud Fusion
Title（参考訳）: PRFusion:画像と点雲融合による効果的かつロバストなマルチモーダル位置認識を目指して
Authors: Sijie Wang, Qiyu Kang, Rui She, Kai Zhao, Yang Song, Wee Peng Tay,
Abstract要約: 本稿では,PRFusionとPRFusion++という2つのマルチモーダル位置認識モデルを提案する。 3つの大規模ベンチマークにおいて、両モデルの最先端性能を検証する。特に、要求されるボレアデータセットにおいて、既存のモデルに対して+3.0 AR@1のかなりのマージンで性能を向上する。
参考スコア（独自算出の注目度）: 26.423254820086296
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Place recognition plays a crucial role in the fields of robotics and computer vision, finding applications in areas such as autonomous driving, mapping, and localization. Place recognition identifies a place using query sensor data and a known database. One of the main challenges is to develop a model that can deliver accurate results while being robust to environmental variations. We propose two multi-modal place recognition models, namely PRFusion and PRFusion++. PRFusion utilizes global fusion with manifold metric attention, enabling effective interaction between features without requiring camera-LiDAR extrinsic calibrations. In contrast, PRFusion++ assumes the availability of extrinsic calibrations and leverages pixel-point correspondences to enhance feature learning on local windows. Additionally, both models incorporate neural diffusion layers, which enable reliable operation even in challenging environments. We verify the state-of-the-art performance of both models on three large-scale benchmarks. Notably, they outperform existing models by a substantial margin of +3.0 AR@1 on the demanding Boreas dataset. Furthermore, we conduct ablation studies to validate the effectiveness of our proposed methods. The codes are available at: https://github.com/sijieaaa/PRFusion
Abstract（参考訳）: 位置認識はロボット工学やコンピュータビジョンの分野において重要な役割を担い、自律運転、マッピング、ローカライゼーションといった分野の応用を見出す。場所認識は、クエリセンサーデータと既知のデータベースを使用して場所を特定する。主な課題の1つは、環境変動に頑健でありながら正確な結果を提供できるモデルを開発することである。本稿では,PRFusionとPRFusion++という2つのマルチモーダル位置認識モデルを提案する。 PRFusionは、大域融合と多様体距離の注意を生かし、カメラ-LiDAR外部キャリブレーションを必要とせず、特徴間の効果的な相互作用を可能にする。対照的にPRFusion++は、外部キャリブレーションの可用性を前提として、ピクセルポイント対応を活用して、ローカルウィンドウの機能学習を強化する。さらに、どちらのモデルにも神経拡散層が組み込まれており、困難な環境でも信頼性の高い操作が可能である。 3つの大規模ベンチマークで両モデルの最先端性能を検証する。特に、要求されるBoreasデータセットにおいて、既存のモデルを+3.0 AR@1のかなりのマージンで上回る。さらに,提案手法の有効性を検証するためにアブレーション研究を行っている。コードは、https://github.com/sijieaaa/PRFusion.comで入手できる。

関連論文リスト

Progressive Multi-Modal Fusion for Robust 3D Object Detection [12.048303829428452]
既存の方法は、バードアイビュー(BEV)とパースペクティブビュー(PV)の両方のモードから特徴を投影することで、単一ビューでセンサフュージョンを実行する。本稿では,中間クエリレベルとオブジェクトクエリレベルの両方で,BEVとPVの両方の機能を組み合わせたプログレッシブフュージョンフレームワークProFusion3Dを提案する。我々のアーキテクチャは、局所的およびグローバルな特徴を融合させ、3次元オブジェクト検出の堅牢性を高める。
論文参考訳（メタデータ） (2024-10-09T22:57:47Z)
Self-supervised Feature Adaptation for 3D Industrial Anomaly Detection [59.41026558455904]
具体的には,大規模ビジュアルデータセット上で事前学習されたモデルを利用した初期のマルチモーダルアプローチについて検討する。本研究では,アダプタを微調整し,異常検出に向けたタスク指向の表現を学習するためのLSFA法を提案する。
論文参考訳（メタデータ） (2024-01-06T07:30:41Z)
LCPR: A Multi-Scale Attention-Based LiDAR-Camera Fusion Network for Place Recognition [11.206532393178385]
本稿では,マルチモーダル位置認識のための新しいニューラルネットワークLCPRを提案する。位置認識性能を向上させるために,マルチビューカメラとLiDARデータを効果的に利用することができる。
論文参考訳（メタデータ） (2023-11-06T15:39:48Z)
Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。我々は、最先端の核融合法を初めてベンチマークした。
論文参考訳（メタデータ） (2022-05-30T09:35:37Z)
TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers [49.689566246504356]
そこで本研究では,LiDAR-カメラ融合に対するソフトアソシエーション機構による堅牢な解であるTransFusionを提案する。 TransFusionは大規模データセット上で最先端のパフォーマンスを実現する。提案手法を3次元トラッキングタスクに拡張し,nuScenesトラッキングのリーダーボードにおける第1位を達成する。
論文参考訳（メタデータ） (2022-03-22T07:15:13Z)
DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection [83.18142309597984]
ライダーとカメラは、自動運転における3D検出を補完する情報を提供する重要なセンサーである。我々はDeepFusionという名前の汎用マルチモーダル3D検出モデル群を開発した。
論文参考訳（メタデータ） (2022-03-15T18:46:06Z)
MBDF-Net: Multi-Branch Deep Fusion Network for 3D Object Detection [17.295359521427073]
3次元物体検出のためのMulti-Branch Deep Fusion Network (MBDF-Net)を提案する。最初の段階では、マルチブランチ機能抽出ネットワークは、Adaptive Attention Fusionモジュールを使用して、単一モーダルなセマンティックな特徴からクロスモーダルな融合機能を生成する。第2段階では、関心領域(RoI)をプールした核融合モジュールを用いて局所的な特徴を改良する。
論文参考訳（メタデータ） (2021-08-29T15:40:15Z)
EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
論文参考訳（メタデータ） (2021-06-21T10:47:26Z)
When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。精度を向上させるために,2つの軽量モジュールを提案する。 DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。 QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
論文参考訳（メタデータ） (2021-05-27T13:51:42Z)
SA-Det3D: Self-Attention Based Context-Aware 3D Object Detection [9.924083358178239]
本稿では,3次元物体検出におけるコンテキストモデリングのための2種類の自己注意法を提案する。まず,現状のbev,voxel,ポイントベース検出器にペアワイズ自着機構を組み込む。次に,ランダムにサンプリングされた位置の変形を学習することにより,最も代表的な特徴のサブセットをサンプリングするセルフアテンション変種を提案する。
論文参考訳（メタデータ） (2021-01-07T18:30:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。