論文の概要: ZeroReg: Zero-Shot Point Cloud Registration with Foundation Models

• arxiv url: http://arxiv.org/abs/2312.03032v3
• Date: Sun, 15 Dec 2024 09:59:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:50:43.146770
• Title: ZeroReg: Zero-Shot Point Cloud Registration with Foundation Models
• Title（参考訳）: ZeroReg: ファンデーションモデルによるゼロショットポイントクラウド登録
• Authors: Weijie Wang, Wenqi Ren, Guofeng Mei, Bin Ren, Xiaoshui Huang, Fabio Poiesi, Nicu Sebe, Bruno Lepri,
• Abstract要約: 最先端の3Dポイントクラウド登録方法は、トレーニングのためにラベル付き3Dデータセットに依存している。 我々は2次元基礎モデルを用いて3次元対応を予測するゼロショット登録手法であるZeroRegを紹介する。
• 参考スコア（独自算出の注目度）: 77.84408427496025
• License:
• Abstract: State-of-the-art 3D point cloud registration methods rely on labeled 3D datasets for training, which limits their practical applications in real-world scenarios and often hinders generalization to unseen scenes. Leveraging the zero-shot capabilities of foundation models offers a promising solution to these challenges. In this paper, we introduce ZeroReg, a zero-shot registration approach that utilizes 2D foundation models to predict 3D correspondences. Specifically, ZeroReg adopts an object-to-point matching strategy, starting with object localization and semantic feature extraction from multi-view images using foundation models. In the object matching stage, semantic features help identify correspondences between objects across views. However, relying solely on semantic features can lead to ambiguity, especially in scenes with multiple instances of the same category. To address this, we construct scene graphs to capture spatial relationships among objects and apply a graph matching algorithm to these graphs to accurately identify matched objects. Finally, computing fine-grained point-level correspondences within matched object regions using algorithms like SuperGlue and LoFTR achieves robust point cloud registration. Evaluations on benchmarks such as 3DMatch, 3DLoMatch, and ScanNet demonstrate ZeroReg's competitive performance, highlighting its potential to advance point-cloud registration by integrating semantic features from foundation models.
• Abstract（参考訳）: 最先端の3Dポイントのクラウド登録方法は、トレーニングのためのラベル付き3Dデータセットに依存している。 ファンデーションモデルのゼロショット機能を活用することは、これらの課題に対する有望な解決策を提供する。 本稿では、2次元基礎モデルを用いて3次元対応を予測するゼロショット登録手法であるZeroRegを紹介する。 具体的には、ZeroRegは、オブジェクトのローカライゼーションと、基礎モデルを用いた多視点画像からのセマンティック特徴抽出から始まる、オブジェクト間マッチング戦略を採用する。 オブジェクトマッチングの段階では、セマンティック機能はビュー間のオブジェクト間の対応を識別するのに役立ちます。 しかし、セマンティックな特徴にのみ依存することは、特に同じカテゴリの複数のインスタンスを持つシーンにおいて曖昧さにつながる可能性がある。 そこで我々は,オブジェクト間の空間的関係を捕捉するシーングラフを構築し,これらのグラフにグラフマッチングアルゴリズムを適用し,一致したオブジェクトを正確に識別する。 最後に、SuperGlueやLoFTRといったアルゴリズムを用いて、マッチング対象領域内の細粒度の点レベル対応を計算することにより、ロバストな点クラウド登録を実現する。 3DMatchや3DLoMatch、ScanNetといったベンチマークでの評価では、ZeroRegの競合性能が示され、基礎モデルからセマンティック機能を統合することで、ポイントクラウド登録を前進させる可能性を強調している。

関連論文リスト

• Open-Vocabulary Octree-Graph for 3D Scene Understanding [54.11828083068082]
  Octree-Graphはオープンな3Dシーン理解のための新しいシーン表現である。 セマンティクスを記憶し、その形状に応じてオブジェクトの占有度を調節するアダプティブ・オクツリー構造を開発する。
  論文  参考訳（メタデータ） (2024-11-25T10:14:10Z)
• 3D Focusing-and-Matching Network for Multi-Instance Point Cloud Registration [45.579241614565376]
  マルチインスタンスポイントクラウド登録のための強力な3D焦点マッチングネットワークを提案する。 自己アテンションと横断アテンションを使用することで、オブジェクトセンターを後退させることで、潜在的なマッチングインスタンスを見つけることができる。 提案手法は,マルチインスタンスポイントクラウド登録タスクにおいて,新たな最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-12T12:04:44Z)
• SG-PGM: Partial Graph Matching Network with Semantic Geometric Fusion for 3D Scene Graph Alignment and Its Downstream Tasks [14.548198408544032]
  我々は3次元シーングラフアライメントを部分的なグラフマッチング問題として扱い、グラフニューラルネットワークを用いてそれを解くことを提案する。 我々は、点雲登録法で学習した幾何学的特徴を再利用し、クラスタ化された点レベルの幾何学的特徴とノードレベルの意味的特徴を関連付ける。 本稿では,3次元シーングラフのノードワイドアライメントを用いて,事前学習した点雲登録手法からマッチング候補を再重み付けする点マッチング再構成手法を提案する。
  論文  参考訳（メタデータ） (2024-03-28T15:01:58Z)
• Variational Relational Point Completion Network for Robust 3D Classification [59.80993960827833]
  可変点雲補完法は、局所的な詳細を欠くため、大域的な形状の骨格を生成する傾向がある。 本稿では2つの魅力的な特性を持つ変分フレームワークであるポイントコンプリートネットワーク(VRCNet)を提案する。 VRCNetは、現実世界のポイントクラウドスキャンにおいて、非常に一般化性と堅牢性を示している。
  論文  参考訳（メタデータ） (2023-04-18T17:03:20Z)
• Robust Point Cloud Registration Framework Based on Deep Graph Matching(TPAMI Version) [13.286247750893681]
  3Dポイントクラウドの登録は、コンピュータビジョンとロボティクスの基本的な問題である。 本稿では,ポイントクラウド登録のための新しいディープグラフマッチングベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-09T06:05:25Z)
• REGTR: End-to-end Point Cloud Correspondences with Transformers [79.52112840465558]
  我々は、注意機構が明示的な特徴マッチングとRANSACの役割を置き換えることができると推測する。 本稿では,最終文集合を直接予測するエンドツーエンドフレームワークを提案する。 提案手法は3DMatchおよびModelNetベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-28T06:01:00Z)
• SASA: Semantics-Augmented Set Abstraction for Point-based 3D Object Detection [78.90102636266276]
  SASA(Semantics-Augmented Set Abstraction)と呼ばれる新しい集合抽象化手法を提案する。 そこで本研究では, 推定点前景スコアに基づいて, より重要な前景点の維持を支援するセマンティックス誘導点サンプリングアルゴリズムを提案する。 実際には、SASAは、前景オブジェクトに関連する貴重な点を識別し、ポイントベースの3D検出のための特徴学習を改善するのに有効である。
  論文  参考訳（メタデータ） (2022-01-06T08:54:47Z)
• Point Cloud Registration using Representative Overlapping Points [10.843159482657303]
  本稿では,登録のための識別機能を備えた代表オーバーラップポイントを用いた新しいディープラーニングモデル ROPNetを提案する。 具体的には,エンコーダを用いてポイントオーバーラップスコアの予測にグローバルな特徴を抽出するコンテキスト誘導モジュールを提案する。 ノイズと部分重なり合う点雲を用いたModelNet40上での実験により,提案手法が従来の学習手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-07-06T12:52:22Z)
• OMNet: Learning Overlapping Mask for Partial-to-Partial Point Cloud Registration [31.108056345511976]
  OMNetは、部分から部分へのポイントクラウド登録のためのグローバル機能ベースの反復ネットワークです。 マスクを粗雑に学習し,重複しない領域を拒絶し,部分から部分への登録を同一形状の登録に変換する。
  論文  参考訳（メタデータ） (2021-03-01T11:59:59Z)
• 3D Object Classification on Partial Point Clouds: A Practical Perspective [91.81377258830703]
  点雲は3次元オブジェクト分類において一般的な形状表現である。 本稿では,任意のポーズの下でオブジェクトインスタンスの部分点雲を分類する実践的な設定を提案する。 本稿では,アライメント分類手法による新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-18T04:00:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。