Fugu-MT 論文翻訳(概要): Cross-Modal Information-Guided Network using Contrastive Learning for Point Cloud Registration

論文の概要: Cross-Modal Information-Guided Network using Contrastive Learning for Point Cloud Registration

arxiv url: http://arxiv.org/abs/2311.01202v1
Date: Thu, 2 Nov 2023 12:56:47 GMT
ステータス: 処理完了
システム内更新日: 2023-11-03 13:37:16.706402
Title: Cross-Modal Information-Guided Network using Contrastive Learning for Point Cloud Registration
Title（参考訳）: ポイントクラウド登録のためのコントラスト学習を用いたクロスモーダル情報誘導ネットワーク
Authors: Yifan Xie, Jihua Zhu, Shiqi Li and Pengcheng Shi
Abstract要約: 本稿では,ポイントクラウド登録のための新しいCross-Modal Information-Guided Network(CMIGNet)を提案する。まず,点雲から投影された画像を取り込んで,アテンション機構を用いてモーダルな特徴を融合する。コントラスト学習戦略は2つあり、すなわち、コントラスト学習とクロスモーダルコントラスト学習が重なり合う。
参考スコア（独自算出の注目度）: 17.420425069785946
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The majority of point cloud registration methods currently rely on extracting features from points. However, these methods are limited by their dependence on information obtained from a single modality of points, which can result in deficiencies such as inadequate perception of global features and a lack of texture information. Actually, humans can employ visual information learned from 2D images to comprehend the 3D world. Based on this fact, we present a novel Cross-Modal Information-Guided Network (CMIGNet), which obtains global shape perception through cross-modal information to achieve precise and robust point cloud registration. Specifically, we first incorporate the projected images from the point clouds and fuse the cross-modal features using the attention mechanism. Furthermore, we employ two contrastive learning strategies, namely overlapping contrastive learning and cross-modal contrastive learning. The former focuses on features in overlapping regions, while the latter emphasizes the correspondences between 2D and 3D features. Finally, we propose a mask prediction module to identify keypoints in the point clouds. Extensive experiments on several benchmark datasets demonstrate that our network achieves superior registration performance.
Abstract（参考訳）: 現在、ポイントクラウド登録手法の大半はポイントから機能を抽出することに依存している。しかし、これらの方法は点の単一モダリティから得られる情報に依存するため、グローバルな特徴に対する不適切な知覚やテクスチャ情報の欠如といった欠点が生じる可能性がある。実際、人間は2D画像から学んだ視覚情報を使って3D世界を理解できます。この事実に基づいて,クロスモーダル情報によるグローバルな形状認識を実現し,高精度でロバストなポイントクラウド登録を実現する,クロスモーダル情報ガイドネットワーク(CMIGNet)を提案する。具体的には,まず点雲から投影された画像を取り込んで,アテンション機構を用いてモーダルな特徴を融合する。さらに,2つのコントラスト学習戦略,すなわちコントラスト学習とクロスモーダルコントラスト学習を用いる。前者は重複する領域の特徴に焦点を当て、後者は2D特徴と3D特徴の対応を強調している。最後に,点雲内のキーポイントを識別するマスク予測モジュールを提案する。いくつかのベンチマークデータセットに対する大規模な実験は、ネットワークが優れた登録性能を達成することを示す。

関連論文リスト

HVDistill: Transferring Knowledge from Images to Point Clouds via Unsupervised Hybrid-View Distillation [106.09886920774002]
本稿では,HVDistillと呼ばれるハイブリッドビューに基づく知識蒸留フレームワークを提案する。提案手法は,スクラッチからトレーニングしたベースラインに対して一貫した改善を実現し,既存のスキームを大幅に上回っている。
論文参考訳（メタデータ） (2024-03-18T14:18:08Z)
Self-supervised Learning of LiDAR 3D Point Clouds via 2D-3D Neural Calibration [107.61458720202984]
本稿では,自律走行シーンにおける3次元知覚を高めるための,新しい自己教師型学習フレームワークを提案する。本稿では,画像とポイントクラウドデータの領域ギャップを埋めるために,学習可能な変換アライメントを提案する。我々は剛性ポーズを推定するために密度の高い2D-3D対応を確立する。
論文参考訳（メタデータ） (2024-01-23T02:41:06Z)
Point2Vec for Self-Supervised Representation Learning on Point Clouds [66.53955515020053]
Data2vecをポイントクラウド領域に拡張し、いくつかのダウンストリームタスクで推奨される結果を報告します。我々は、ポイントクラウド上でData2vecライクな事前トレーニングの可能性を解放するpoint2vecを提案する。
論文参考訳（メタデータ） (2023-03-29T10:08:29Z)
Let Images Give You More:Point Cloud Cross-Modal Training for Shape Analysis [43.13887916301742]
本稿では、ポイントクラウド分析を促進するために、シンプルだが効果的なポイントクラウドクロスモダリティトレーニング(PointCMT)戦略を導入する。ビューイメージから補助的知識を効果的に獲得するために,教師学生のための枠組みを開発し,知識蒸留問題としてクロスモーダル学習を定式化する。我々は、魅力的なバックボーン、すなわちPointCMT、PointNet++、PointMLPを備えた様々なデータセットにおいて、大きな利益を検証した。
論文参考訳（メタデータ） (2022-10-09T09:35:22Z)
Learning-based Point Cloud Registration for 6D Object Pose Estimation in the Real World [55.7340077183072]
我々は、ポイントクラウドデータからオブジェクトの6Dポーズを推定するタスクに取り組む。この課題に対処する最近の学習ベースのアプローチは、合成データセットにおいて大きな成功を収めている。これらの障害の原因を分析し、ソースとターゲットポイントの雲の特徴分布の違いに遡る。
論文参考訳（メタデータ） (2022-03-29T07:55:04Z)
CrossPoint: Self-Supervised Cross-Modal Contrastive Learning for 3D Point Cloud Understanding [2.8661021832561757]
CrossPointは、転送可能な3Dポイントクラウド表現を学習するための、単純なクロスモーダルコントラスト学習アプローチである。提案手法は,従来の教師なし学習手法よりも,3次元オブジェクト分類やセグメンテーションなど,さまざまな下流タスクにおいて優れていた。
論文参考訳（メタデータ） (2022-03-01T18:59:01Z)
Self-Supervised Feature Learning from Partial Point Clouds via Pose Disentanglement [35.404285596482175]
部分点雲から情報表現を学習するための,新たな自己教師型フレームワークを提案する。コンテンツとポーズ属性の両方を含むLiDARでスキャンされた部分点雲を利用する。提案手法は,既存の自己教師付き手法に勝るだけでなく,合成および実世界のデータセット間でのより優れた一般化性を示す。
論文参考訳（メタデータ） (2022-01-09T14:12:50Z)
Point Discriminative Learning for Unsupervised Representation Learning on 3D Point Clouds [54.31515001741987]
3次元点雲上での教師なし表現学習のための点識別学習法を提案する。我々は、中間レベルとグローバルレベルの特徴に新しい点識別損失を課すことにより、これを達成した。提案手法は強力な表現を学習し,新しい最先端性能を実現する。
論文参考訳（メタデータ） (2021-08-04T15:11:48Z)
Semantic Segmentation for Real Point Cloud Scenes via Bilateral Augmentation and Adaptive Fusion [38.05362492645094]
現実世界の複雑な環境を直感的に捉えることができますが、3Dデータの生の性質のため、機械認識にとって非常に困難です。我々は、現実に収集された大規模クラウドデータに対して、重要な視覚的タスク、セマンティックセグメンテーションに集中する。 3つのベンチマークで最先端のネットワークと比較することにより,ネットワークの有効性を実証する。
論文参考訳（メタデータ） (2021-03-12T04:13:20Z)
Cross-Modality 3D Object Detection [63.29935886648709]
本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。アーキテクチャ全体が2段階の融合を促進する。 KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
論文参考訳（メタデータ） (2020-08-16T11:01:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。