論文の概要: Cross-modal feature fusion for robust point cloud registration with ambiguous geometry

• arxiv url: http://arxiv.org/abs/2505.13088v1
• Date: Mon, 19 May 2025 13:22:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.609194
• Title: Cross-modal feature fusion for robust point cloud registration with ambiguous geometry
• Title（参考訳）: あいまいな幾何をもつロバスト点雲登録のためのクロスモーダル特徴融合
• Authors: Zhaoyi Wang, Shengyu Huang, Jemil Avers Butt, Yuanzhou Cai, Matej Varga, Andreas Wieser,
• Abstract要約: 本稿では,ポイントクラウド登録のためのクロスモーダル特徴融合法を提案する。 2段階の3Dポイントクラウド機能と2Dイメージ機能を統合している。 すべてのベンチマークで最先端の登録性能を達成する。
• 参考スコア（独自算出の注目度）: 6.742883954812066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Point cloud registration has seen significant advancements with the application of deep learning techniques. However, existing approaches often overlook the potential of integrating radiometric information from RGB images. This limitation reduces their effectiveness in aligning point clouds pairs, especially in regions where geometric data alone is insufficient. When used effectively, radiometric information can enhance the registration process by providing context that is missing from purely geometric data. In this paper, we propose CoFF, a novel Cross-modal Feature Fusion method that utilizes both point cloud geometry and RGB images for pairwise point cloud registration. Assuming that the co-registration between point clouds and RGB images is available, CoFF explicitly addresses the challenges where geometric information alone is unclear, such as in regions with symmetric similarity or planar structures, through a two-stage fusion of 3D point cloud features and 2D image features. It incorporates a cross-modal feature fusion module that assigns pixel-wise image features to 3D input point clouds to enhance learned 3D point features, and integrates patch-wise image features with superpoint features to improve the quality of coarse matching. This is followed by a coarse-to-fine matching module that accurately establishes correspondences using the fused features. We extensively evaluate CoFF on four common datasets: 3DMatch, 3DLoMatch, IndoorLRS, and the recently released ScanNet++ datasets. In addition, we assess CoFF on specific subset datasets containing geometrically ambiguous cases. Our experimental results demonstrate that CoFF achieves state-of-the-art registration performance across all benchmarks, including remarkable registration recalls of 95.9% and 81.6% on the widely-used 3DMatch and 3DLoMatch datasets, respectively...(Truncated to fit arXiv abstract length)
• Abstract（参考訳）: ディープラーニング技術の適用により、ポイントクラウドの登録が大幅に進歩した。 しかし、既存のアプローチはしばしばRGB画像から放射能情報を統合する可能性を見落としている。 この制限により、特に幾何学的データだけでは不十分な領域において、点雲ペアの整列における有効性が低下する。 有効に使用すれば、純粋な幾何学的データから欠落したコンテキストを提供することで、ラジオメトリック情報が登録プロセスを強化することができる。 本稿では,一対の点雲登録のために,点雲幾何とRGB画像の両方を利用するクロスモーダル・フィーチャーフュージョン法であるCoFFを提案する。 点雲とRGB画像の共存が可能であると仮定すると、CoFFは3D点雲の特徴と2D画像特徴の2段階融合を通じて、対称的な類似性や平面構造を持つ領域のような幾何学的情報のみが不明瞭な領域における課題に対処する。 クロスモーダルな機能融合モジュールが組み込まれており、3Dインプットポイントクラウドに画素ワイズ画像機能を割り当て、学習された3Dポイント機能を強化し、パッチワイズ画像機能とスーパーポイント機能を統合し、粗いマッチングの質を向上させる。 続いて、融合した特徴を用いた対応を正確に確立する粗大なマッチングモジュールが続く。 3DMatch、3DLoMatch、IndoorLRS、最近リリースされたScanNet++データセットの4つの共通データセットでCoFFを広範囲に評価する。 さらに、幾何学的に曖昧なケースを含む特定のサブセットデータセット上で、CoFFを評価する。 実験の結果、CoFFは、広く使われている3DMatchデータセットと3DLoMatchデータセットにおいて、95.9%と81.6%の顕著な登録リコールを含む、すべてのベンチマークで最先端の登録性能を達成していることがわかった。

関連論文リスト

• Fully-Geometric Cross-Attention for Point Cloud Registration [51.865371511201765]
  ポイントクラウド登録のアプローチは、ノイズのあるポイント対応のため、ポイントクラウド間の重なりが低いときに失敗することが多い。 この問題に対処するTransformerベースのアーキテクチャに適した,新たなクロスアテンション機構を導入する。 我々はGromov-Wasserstein距離をクロスアテンションの定式化に統合し、異なる点雲間の点間距離を共同計算する。 点レベルでは,局所的な幾何学的構造情報を細かなマッチングのための点特徴に集約する自己認識機構も考案する。
  論文  参考訳（メタデータ） (2025-02-12T10:44:36Z)
• PointVoxelFormer -- Reviving point cloud networks for 3D medical imaging [0.0]
  点雲は、医療画像における体積データを表現するための非常に効率的な方法である。 それらの利点にもかかわらず、ポイントクラウドは、ボリューム3D CNNやビジョントランスフォーマーと比較して、医療画像においてまだ過小評価されている。 この研究は、ポイントワイズ演算と中間微分可能化と高密度局所化CNNを組み合わせたハイブリッドアプローチを示す。
  論文  参考訳（メタデータ） (2024-12-23T08:43:39Z)
• ZeroReg: Zero-Shot Point Cloud Registration with Foundation Models [77.84408427496025]
  最先端の3Dポイントクラウド登録方法は、トレーニングのためにラベル付き3Dデータセットに依存している。 我々は2次元基礎モデルを用いて3次元対応を予測するゼロショット登録手法であるZeroRegを紹介する。
  論文  参考訳（メタデータ） (2023-12-05T11:33:16Z)
• PCR-CG: Point Cloud Registration via Deep Explicit Color and Geometry [28.653015760036602]
  色信号を幾何学表現に明示的に埋め込む新しい3Dポイントクラウド登録モジュールを提案する。 我々の重要な貢献は、色信号から学習した深い特徴を幾何学的表現に埋め込む2D-3Dクロスモダリティ学習アルゴリズムである。 本研究は, 登録作業において, 鮮明な深色特徴を点雲に関連付けるという大きな利点を明らかにした。
  論文  参考訳（メタデータ） (2023-02-28T08:50:17Z)
• FFPA-Net: Efficient Feature Fusion with Projection Awareness for 3D Object Detection [19.419030878019974]
  構造化されていない3D点雲は2D平面に充填され、3D点雲はプロジェクション対応の畳み込み層を用いて高速に抽出される。 データ前処理において、異なるセンサ信号間の対応するインデックスを予め設定する。 2つの新しいプラグアンドプレイ融合モジュールLiCamFuseとBiLiCamFuseが提案されている。
  論文  参考訳（メタデータ） (2022-09-15T16:13:19Z)
• Improving RGB-D Point Cloud Registration by Learning Multi-scale Local Linear Transformation [38.64501645574878]
  ポイントクラウド登録は、2つのポイントクラウドスキャン間の幾何学的変換を推定することを目的としている。 近年,RGB-Dデータをより正確な対応に利用しようと試みている。 マルチスケールな局所線形変換を用いたGAVE(Geometry-Aware Visual Feature Extractor)を提案する。
  論文  参考訳（メタデータ） (2022-08-31T14:36:09Z)
• CorrI2P: Deep Image-to-Point Cloud Registration via Dense Correspondence [51.91791056908387]
  我々は,CorrI2Pと呼ばれる画像間クラウドの登録問題に対処するための,機能に基づく最初の高密度対応フレームワークを提案する。 具体的には、3次元の点雲の前に2次元画像が1対あるとすると、まずそれらを高次元の特徴空間に変換し、特徴を対称的に重なり合う領域に変換して、画像点雲が重なり合う領域を決定する。
  論文  参考訳（メタデータ） (2022-07-12T11:49:31Z)
• Similarity-Aware Fusion Network for 3D Semantic Segmentation [87.51314162700315]
  本研究では,3次元セマンティックセグメンテーションのための2次元画像と3次元点雲を適応的に融合する類似性認識融合ネットワーク(SAFNet)を提案する。 我々は、入力とバックプロジェクションされた(2Dピクセルから)点雲の間の幾何学的および文脈的類似性を初めて学習する、後期融合戦略を採用している。 SAFNetは、様々なデータ完全性にまたがって、既存の最先端の核融合ベースのアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2021-07-04T09:28:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。