論文の概要: Attention-Enhanced Cross-modal Localization Between 360 Images and Point Clouds

• arxiv url: http://arxiv.org/abs/2212.02757v1
• Date: Tue, 6 Dec 2022 05:15:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 17:45:01.184773
• Title: Attention-Enhanced Cross-modal Localization Between 360 Images and Point Clouds
• Title（参考訳）: 360画像と点雲間の注意強調型クロスモーダル局在
• Authors: Zhipeng Zhao, Huai Yu, Chenwei Lyv, Wen Yang, Sebastian Scherer
• Abstract要約: モーダルな視覚的ローカライゼーションを実現するために,エンド・ツー・エンドの学習可能なネットワークを提案する。 注意機構にインスパイアされ、画像と点雲を比較するために、適切な特徴を捉えるために、ネットワークを最適化する。
• 参考スコア（独自算出の注目度）: 8.258767692245495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual localization plays an important role for intelligent robots and autonomous driving, especially when the accuracy of GNSS is unreliable. Recently, camera localization in LiDAR maps has attracted more and more attention for its low cost and potential robustness to illumination and weather changes. However, the commonly used pinhole camera has a narrow Field-of-View, thus leading to limited information compared with the omni-directional LiDAR data. To overcome this limitation, we focus on correlating the information of 360 equirectangular images to point clouds, proposing an end-to-end learnable network to conduct cross-modal visual localization by establishing similarity in high-dimensional feature space. Inspired by the attention mechanism, we optimize the network to capture the salient feature for comparing images and point clouds. We construct several sequences containing 360 equirectangular images and corresponding point clouds based on the KITTI-360 dataset and conduct extensive experiments. The results demonstrate the effectiveness of our approach.
• Abstract（参考訳）: 視覚的ローカライゼーションは、特にGNSSの精度が信頼できない場合に、インテリジェントロボットや自律運転において重要な役割を果たす。 近年、ライダーマップにおけるカメラのローカライゼーションは、低コストと照明や天候変化に対する潜在的な堅牢性によって、ますます注目を集めている。 しかし、一般的に使われているピンホールカメラは視野が狭いため、全方位LiDARデータと比較して限られた情報が得られる。 この制限を克服するために,360度等角像の情報を点雲に関連付けることに着目し,高次元特徴空間における類似性を確立することにより,エンドツーエンド学習可能なネットワークを提案する。 注意機構に触発されてネットワークを最適化し,画像とポイントクラウドを比較するための高度機能を実現する。 我々は,kitti-360データセットに基づいて,360等角形画像と対応する点雲を含む複数のシーケンスを構築し,広範な実験を行う。 その結果,本手法の有効性が示された。

関連論文リスト

• Monocular Visual Place Recognition in LiDAR Maps via Cross-Modal State Space Model and Multi-View Matching [2.400446821380503]
  我々はRGB画像とポイントクラウドの両方のディスクリプタを学習するための効率的なフレームワークを導入する。 視覚状態空間モデル(VMamba)をバックボーンとして、ピクセルビューとシーンの共同トレーニング戦略を採用している。 視覚的な3Dポイントオーバーラップ戦略は、マルチビューの監視のために、ポイントクラウドビューとRGBイメージの類似性を定量化するように設計されている。
  論文  参考訳（メタデータ） (2024-10-08T18:31:41Z)
• HVDistill: Transferring Knowledge from Images to Point Clouds via Unsupervised Hybrid-View Distillation [106.09886920774002]
  本稿では,HVDistillと呼ばれるハイブリッドビューに基づく知識蒸留フレームワークを提案する。 提案手法は,スクラッチからトレーニングしたベースラインに対して一貫した改善を実現し,既存のスキームを大幅に上回っている。
  論文  参考訳（メタデータ） (2024-03-18T14:18:08Z)
• Self-supervised Learning of LiDAR 3D Point Clouds via 2D-3D Neural Calibration [107.61458720202984]
  本稿では,自律走行シーンにおける3次元知覚を高めるための,新しい自己教師型学習フレームワークを提案する。 本稿では,画像とポイントクラウドデータの領域ギャップを埋めるために,学習可能な変換アライメントを提案する。 我々は剛性ポーズを推定するために密度の高い2D-3D対応を確立する。
  論文  参考訳（メタデータ） (2024-01-23T02:41:06Z)
• GraphAlign: Enhancing Accurate Feature Alignment by Graph matching for Multi-Modal 3D Object Detection [7.743525134435137]
  LiDARとカメラは、自律運転における3Dオブジェクト検出のための補完センサーである。 グラフマッチングによる3次元物体検出のためのより正確な特徴アライメント戦略であるGraphAlignを提案する。
  論文  参考訳（メタデータ） (2023-10-12T12:06:31Z)
• Unleash the Potential of Image Branch for Cross-modal 3D Object Detection [67.94357336206136]
  画像分岐のポテンシャルを2つの側面から解き放つことを目的として,新しい3Dオブジェクト検出器UPIDetを提案する。 まず、UPIDetは正規化された局所座標写像推定と呼ばれる新しい2次元補助タスクを導入する。 第2に,イメージブランチのトレーニング目標から逆転する勾配によって,ポイントクラウドバックボーンの表現能力を向上できることを見出した。
  論文  参考訳（メタデータ） (2023-01-22T08:26:58Z)
• CXTrack: Improving 3D Point Cloud Tracking with Contextual Information [59.55870742072618]
  3Dオブジェクトトラッキングは、自律運転など、多くのアプリケーションにおいて重要な役割を果たす。 CXTrackは3次元オブジェクト追跡のためのトランスフォーマーベースのネットワークである。 CXTrackは29FPSで動作しながら最先端のトラッキング性能を実現する。
  論文  参考訳（メタデータ） (2022-11-12T11:29:01Z)
• AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
  ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。 我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
  論文  参考訳（メタデータ） (2022-08-24T16:54:38Z)
• Field-of-View IoU for Object Detection in 360{\deg} Images [36.72543749626039]
  本研究では,FoV-IoU(FoV-IoU)と360deg画像における物体検出のための360Augmentationという2つの基本手法を提案する。 FoV-IoUは2つの視野境界ボックスの交叉結合を球面画像で計算し、トレーニング、推論、評価に使用できる。 360Augmentationは、球面イメージをランダムに回転させ、球面から平面への投影によるバイアスを解決する360degオブジェクト検出タスクに特有のデータ拡張技術である。
  論文  参考訳（メタデータ） (2022-02-07T14:01:59Z)
• RoIFusion: 3D Object Detection from LiDAR and Vision [7.878027048763662]
  本稿では,3次元関心領域(RoI)の集合を点雲から対応する画像の2次元ロIに投影することで,新しい融合アルゴリズムを提案する。 提案手法は,KITTI 3Dオブジェクト検出課題ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-09-09T20:23:27Z)
• Pseudo-LiDAR Point Cloud Interpolation Based on 3D Motion Representation and Spatial Supervision [68.35777836993212]
  我々はPseudo-LiDAR点雲ネットワークを提案し、時間的および空間的に高品質な点雲列を生成する。 点雲間のシーンフローを活用することにより,提案ネットワークは3次元空間運動関係のより正確な表現を学習することができる。
  論文  参考訳（メタデータ） (2020-06-20T03:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。