論文の概要: MambaPlace:Text-to-Point-Cloud Cross-Modal Place Recognition with Attention Mamba Mechanisms

• arxiv url: http://arxiv.org/abs/2408.15740v1
• Date: Wed, 28 Aug 2024 12:06:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 16:00:49.902467
• Title: MambaPlace:Text-to-Point-Cloud Cross-Modal Place Recognition with Attention Mamba Mechanisms
• Title（参考訳）: MambaPlace:アテンション・マンバ機構を用いたテキスト・ツー・ポイント・クラウド・クロスモーダル・プレイス認識
• Authors: Tianyi Shang, Zhenyu Li, Wenhao Pei, Pengjie Xu, ZhaoJun Deng, Fanchen Kong,
• Abstract要約: 視覚言語位置認識(VLVPR)は、画像から自然言語記述を組み込むことで、ロボットのローカライズ性能を向上させる。 言語情報を利用することで、VLVPRはロボットの位置マッチングを指示し、視覚のみに依存する制約を克服する。 本稿では,MambaPlace と呼ばれる相互接続型位置認識フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 2.1793852422523843
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision Language Place Recognition (VLVPR) enhances robot localization performance by incorporating natural language descriptions from images. By utilizing language information, VLVPR directs robot place matching, overcoming the constraint of solely depending on vision. The essence of multimodal fusion lies in mining the complementary information between different modalities. However, general fusion methods rely on traditional neural architectures and are not well equipped to capture the dynamics of cross modal interactions, especially in the presence of complex intra modal and inter modal correlations. To this end, this paper proposes a novel coarse to fine and end to end connected cross modal place recognition framework, called MambaPlace. In the coarse localization stage, the text description and 3D point cloud are encoded by the pretrained T5 and instance encoder, respectively. They are then processed using Text Attention Mamba (TAM) and Point Clouds Mamba (PCM) for data enhancement and alignment. In the subsequent fine localization stage, the features of the text description and 3D point cloud are cross modally fused and further enhanced through cascaded Cross Attention Mamba (CCAM). Finally, we predict the positional offset from the fused text point cloud features, achieving the most accurate localization. Extensive experiments show that MambaPlace achieves improved localization accuracy on the KITTI360Pose dataset compared to the state of the art methods.
• Abstract（参考訳）: 視覚言語位置認識(VLVPR)は、画像から自然言語記述を組み込むことで、ロボットのローカライズ性能を向上させる。 言語情報を利用することで、VLVPRはロボットの位置マッチングを指示し、視覚のみに依存する制約を克服する。 マルチモーダル融合の本質は、異なるモーダル間の相補的な情報をマイニングすることにある。 しかし、一般的な融合法は従来のニューラルネットワークに依存しており、特に複雑なモーダル内およびモーダル間相関の存在下では、クロスモーダル相互作用のダイナミクスを捉えるのに十分な能力を持っていない。 そこで本稿では,MambaPlace と呼ばれる相互接続型位置認識フレームワークを提案する。 粗いローカライゼーション段階では、予め訓練されたT5とインスタンスエンコーダで、テキスト記述と3Dポイントクラウドとをそれぞれ符号化する。 次にテキストアテンション・マンバ(TAM)とポイントクラウド・マンバ(PCM)を使用してデータ拡張とアライメントを行う。 その後の微妙なローカライゼーション段階において、テキスト記述と3Dポイントクラウドの特徴は、カスケードされたCross Attention Mamba (CCAM) によって相互に融合され、さらに強化される。 最後に、融合したテキストポイントクラウドの特徴から位置オフセットを予測し、最も正確な位置決めを実現する。 大規模な実験により、MambaPlaceは最先端の手法と比較して、KITTI360Poseデータセットのローカライズ精度の向上を実現している。

関連論文リスト

• MMScan: A Multi-Modal 3D Scene Dataset with Hierarchical Grounded Language Annotations [55.022519020409405]
  本稿では,マルチモーダルな3Dシーンデータセットと階層型言語アノテーションを用いたベンチマーク,MMScanを構築した。 結果として得られたマルチモーダルな3Dデータセットは、109kオブジェクトと7.7kリージョン上の1.4Mメタアノテーション付きキャプションと、3Dビジュアルグラウンドと質問応答ベンチマークのための3.04M以上の多様なサンプルを含んでいる。
  論文  参考訳（メタデータ） (2024-06-13T17:59:30Z)
• OverlapMamba: Novel Shift State Space Model for LiDAR-based Place Recognition [10.39935021754015]
  位置認識のための新しいネットワークであるOverlapMambaを開発した。 本手法は,以前に訪れた場所を異なる方向から横断する場合でも,ループの閉鎖を効果的に検出する。 生のレンジビューの入力に基づいて、典型的なLiDARと複数ビューの組み合わせ法を時間的複雑さと速度で上回っている。
  論文  参考訳（メタデータ） (2024-05-13T17:46:35Z)
• A Novel State Space Model with Local Enhancement and State Sharing for Image Fusion [14.293042131263924]
  画像融合タスクでは、異なるソースからのイメージは異なる特徴を持つ。 状態空間モデルとしてのMambaは自然言語処理の分野で登場している。 これらの課題に感化されて、画像融合タスク用に設計されたMambaネットワークをカスタマイズし、改善する。
  論文  参考訳（メタデータ） (2024-04-14T16:09:33Z)
• Point Cloud Mamba: Point Cloud Learning via State Space Model [73.7454734756626]
  我々は,マンバをベースとしたポイントクラウド法が,トランスフォーマや多層パーセプトロン(MLP)に基づく従来手法よりも優れていることを示す。 特に,マルチ層パーセプトロン(MLP)を用いて,マンバをベースとした点雲法が従来手法より優れていることを示す。 Point Cloud Mambaは、最先端(SOTA)のポイントベースメソッドであるPointNeXtを超え、ScanNN、ModelNet40、ShapeNetPart、S3DISデータセット上での新たなSOTAパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-03-01T18:59:03Z)
• Towards Compact 3D Representations via Point Feature Enhancement Masked Autoencoders [52.66195794216989]
  本稿では,コンパクトな3D表現を学習するために,ポイント特徴強調マスク付きオートエンコーダ(Point-FEMAE)を提案する。 Point-FEMAEはグローバルブランチとローカルブランチで構成され、潜在意味的特徴をキャプチャする。 本手法は, クロスモーダル方式と比較して, 事前学習効率を著しく向上させる。
  論文  参考訳（メタデータ） (2023-12-17T14:17:05Z)
• Text2Loc: 3D Point Cloud Localization from Natural Language [49.01851743372889]
  我々は,いくつかの言語学的記述に基づく3次元点群局所化の問題に取り組む。 我々は,ポイントとテキスト間の意味的関係を完全に解釈する新しいニューラルネットワークText2Locを導入する。 Text2Locは、KITTI360Poseデータセットの最先端技術に対して最大2倍のローカライゼーション精度を向上する。
  論文  参考訳（メタデータ） (2023-11-27T16:23:01Z)
• Progressive Coordinate Transforms for Monocular 3D Object Detection [52.00071336733109]
  本稿では,学習座標表現を容易にするために,PCT(Em Progressive Coordinate Transforms)と呼ばれる,新しい軽量なアプローチを提案する。 本稿では,学習座標表現を容易にするために,PCT(Em Progressive Coordinate Transforms)と呼ばれる,新しい軽量なアプローチを提案する。
  論文  参考訳（メタデータ） (2021-08-12T15:22:33Z)
• Enhanced Modality Transition for Image Captioning [51.72997126838352]
  MTM(Modality Transition Module)を構築し、言語モデルに転送する前に視覚的機能をセマンティック表現に転送します。 トレーニング段階では、モダリティ遷移ネットワークは提案されたモダリティ損失によって最適化される。 提案手法の有効性を示すMS-COCOデータセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2021-02-23T07:20:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。