論文の概要: ZeroReg: Zero-Shot Point Cloud Registration with Foundation Models

• arxiv url: http://arxiv.org/abs/2312.03032v3
• Date: Sun, 15 Dec 2024 09:59:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 15:49:57.746395
• Title: ZeroReg: Zero-Shot Point Cloud Registration with Foundation Models
• Title（参考訳）: ZeroReg: ファンデーションモデルによるゼロショットポイントクラウド登録
• Authors: Weijie Wang, Wenqi Ren, Guofeng Mei, Bin Ren, Xiaoshui Huang, Fabio Poiesi, Nicu Sebe, Bruno Lepri,
• Abstract要約: 最先端の3Dポイントクラウド登録方法は、トレーニングのためにラベル付き3Dデータセットに依存している。 我々は2次元基礎モデルを用いて3次元対応を予測するゼロショット登録手法であるZeroRegを紹介する。
• 参考スコア（独自算出の注目度）: 77.84408427496025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art 3D point cloud registration methods rely on labeled 3D datasets for training, which limits their practical applications in real-world scenarios and often hinders generalization to unseen scenes. Leveraging the zero-shot capabilities of foundation models offers a promising solution to these challenges. In this paper, we introduce ZeroReg, a zero-shot registration approach that utilizes 2D foundation models to predict 3D correspondences. Specifically, ZeroReg adopts an object-to-point matching strategy, starting with object localization and semantic feature extraction from multi-view images using foundation models. In the object matching stage, semantic features help identify correspondences between objects across views. However, relying solely on semantic features can lead to ambiguity, especially in scenes with multiple instances of the same category. To address this, we construct scene graphs to capture spatial relationships among objects and apply a graph matching algorithm to these graphs to accurately identify matched objects. Finally, computing fine-grained point-level correspondences within matched object regions using algorithms like SuperGlue and LoFTR achieves robust point cloud registration. Evaluations on benchmarks such as 3DMatch, 3DLoMatch, and ScanNet demonstrate ZeroReg's competitive performance, highlighting its potential to advance point-cloud registration by integrating semantic features from foundation models.
• Abstract（参考訳）: 最先端の3Dポイントのクラウド登録方法は、トレーニングのためのラベル付き3Dデータセットに依存している。 ファンデーションモデルのゼロショット機能を活用することは、これらの課題に対する有望な解決策を提供する。 本稿では、2次元基礎モデルを用いて3次元対応を予測するゼロショット登録手法であるZeroRegを紹介する。 具体的には、ZeroRegは、オブジェクトのローカライゼーションと、基礎モデルを用いた多視点画像からのセマンティック特徴抽出から始まる、オブジェクト間マッチング戦略を採用する。 オブジェクトマッチングの段階では、セマンティック機能はビュー間のオブジェクト間の対応を識別するのに役立ちます。 しかし、セマンティックな特徴にのみ依存することは、特に同じカテゴリの複数のインスタンスを持つシーンにおいて曖昧さにつながる可能性がある。 そこで我々は,オブジェクト間の空間的関係を捕捉するシーングラフを構築し,これらのグラフにグラフマッチングアルゴリズムを適用し,一致したオブジェクトを正確に識別する。 最後に、SuperGlueやLoFTRといったアルゴリズムを用いて、マッチング対象領域内の細粒度の点レベル対応を計算することにより、ロバストな点クラウド登録を実現する。 3DMatchや3DLoMatch、ScanNetといったベンチマークでの評価では、ZeroRegの競合性能が示され、基礎モデルからセマンティック機能を統合することで、ポイントクラウド登録を前進させる可能性を強調している。

関連論文リスト

• Open-Vocabulary Octree-Graph for 3D Scene Understanding [54.11828083068082]
  Octree-Graphはオープンな3Dシーン理解のための新しいシーン表現である。 セマンティクスを記憶し、その形状に応じてオブジェクトの占有度を調節するアダプティブ・オクツリー構造を開発する。
  論文  参考訳（メタデータ） (2024-11-25T10:14:10Z)
• 3D Focusing-and-Matching Network for Multi-Instance Point Cloud Registration [45.579241614565376]
  マルチインスタンスポイントクラウド登録のための強力な3D焦点マッチングネットワークを提案する。 自己アテンションと横断アテンションを使用することで、オブジェクトセンターを後退させることで、潜在的なマッチングインスタンスを見つけることができる。 提案手法は,マルチインスタンスポイントクラウド登録タスクにおいて,新たな最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-12T12:04:44Z)
• PointRegGPT: Boosting 3D Point Cloud Registration using Generative Point-Cloud Pairs for Training [90.06520673092702]
  生成点クラウドペアを用いた3Dポイントクラウドの登録をトレーニングのために促進するPointRegGPTを提案する。 我々の知る限り、これは屋内のクラウド登録のためのリアルなデータ生成を探求する最初の生成的アプローチである。
  論文  参考訳（メタデータ） (2024-07-19T06:29:57Z)
• Zero-shot Point Cloud Completion Via 2D Priors [52.72867922938023]
  3次元点雲の完成は、部分的に観測された点雲から完全な形状を復元するように設計されている。 そこで本研究では, 観測された点群を対象とするゼロショットフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-10T08:02:17Z)
• SG-PGM: Partial Graph Matching Network with Semantic Geometric Fusion for 3D Scene Graph Alignment and Its Downstream Tasks [14.548198408544032]
  我々は3次元シーングラフアライメントを部分的なグラフマッチング問題として扱い、グラフニューラルネットワークを用いてそれを解くことを提案する。 我々は、点雲登録法で学習した幾何学的特徴を再利用し、クラスタ化された点レベルの幾何学的特徴とノードレベルの意味的特徴を関連付ける。 本稿では,3次元シーングラフのノードワイドアライメントを用いて,事前学習した点雲登録手法からマッチング候補を再重み付けする点マッチング再構成手法を提案する。
  論文  参考訳（メタデータ） (2024-03-28T15:01:58Z)
• SphereNet: Learning a Noise-Robust and General Descriptor for Point Cloud Registration [5.641476052216014]
  我々はSphereNetを導入して、ポイントクラウド登録のためのノイズロスと見えない汎用記述子を学習する。 提案手法を評価するために, 強い雑音を有する3DMatch-noiseのベンチマークを新たに導入した。 3DMatchおよび3DLoMatchベンチマークの93.5%と75.6%の登録リコールで、最先端のパフォーマンスを新たに設定した。
  論文  参考訳（メタデータ） (2023-07-18T15:37:35Z)
• Variational Relational Point Completion Network for Robust 3D Classification [59.80993960827833]
  可変点雲補完法は、局所的な詳細を欠くため、大域的な形状の骨格を生成する傾向がある。 本稿では2つの魅力的な特性を持つ変分フレームワークであるポイントコンプリートネットワーク(VRCNet)を提案する。 VRCNetは、現実世界のポイントクラウドスキャンにおいて、非常に一般化性と堅牢性を示している。
  論文  参考訳（メタデータ） (2023-04-18T17:03:20Z)
• Robust Point Cloud Registration Framework Based on Deep Graph Matching(TPAMI Version) [13.286247750893681]
  3Dポイントクラウドの登録は、コンピュータビジョンとロボティクスの基本的な問題である。 本稿では,ポイントクラウド登録のための新しいディープグラフマッチングベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-09T06:05:25Z)
• ImLoveNet: Misaligned Image-supported Registration Network for Low-overlap Point Cloud Pairs [14.377604289952188]
  対の点雲間の低オーバーラップ領域は、捕獲された特徴を非常に低信頼にする。 我々は,ImLoveNetと呼ばれる低オーバーラップ点雲対に対する画像対応登録ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-07-02T13:17:34Z)
• REGTR: End-to-end Point Cloud Correspondences with Transformers [79.52112840465558]
  我々は、注意機構が明示的な特徴マッチングとRANSACの役割を置き換えることができると推測する。 本稿では,最終文集合を直接予測するエンドツーエンドフレームワークを提案する。 提案手法は3DMatchおよびModelNetベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-28T06:01:00Z)
• SASA: Semantics-Augmented Set Abstraction for Point-based 3D Object Detection [78.90102636266276]
  SASA(Semantics-Augmented Set Abstraction)と呼ばれる新しい集合抽象化手法を提案する。 そこで本研究では, 推定点前景スコアに基づいて, より重要な前景点の維持を支援するセマンティックス誘導点サンプリングアルゴリズムを提案する。 実際には、SASAは、前景オブジェクトに関連する貴重な点を識別し、ポイントベースの3D検出のための特徴学習を改善するのに有効である。
  論文  参考訳（メタデータ） (2022-01-06T08:54:47Z)
• Point Cloud Registration using Representative Overlapping Points [10.843159482657303]
  本稿では,登録のための識別機能を備えた代表オーバーラップポイントを用いた新しいディープラーニングモデル ROPNetを提案する。 具体的には,エンコーダを用いてポイントオーバーラップスコアの予測にグローバルな特徴を抽出するコンテキスト誘導モジュールを提案する。 ノイズと部分重なり合う点雲を用いたModelNet40上での実験により,提案手法が従来の学習手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-07-06T12:52:22Z)
• OMNet: Learning Overlapping Mask for Partial-to-Partial Point Cloud Registration [31.108056345511976]
  OMNetは、部分から部分へのポイントクラウド登録のためのグローバル機能ベースの反復ネットワークです。 マスクを粗雑に学習し,重複しない領域を拒絶し,部分から部分への登録を同一形状の登録に変換する。
  論文  参考訳（メタデータ） (2021-03-01T11:59:59Z)
• 3D Object Classification on Partial Point Clouds: A Practical Perspective [91.81377258830703]
  点雲は3次元オブジェクト分類において一般的な形状表現である。 本稿では,任意のポーズの下でオブジェクトインスタンスの部分点雲を分類する実践的な設定を提案する。 本稿では,アライメント分類手法による新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-18T04:00:56Z)
• ParaNet: Deep Regular Representation for 3D Point Clouds [62.81379889095186]
  ParaNetは、3Dポイントクラウドを表現するための新しいエンドツーエンドのディープラーニングフレームワークである。 不規則な3D点雲を通常の2Dカラー画像に変換する。 多視点投影とボキセル化に基づく従来の正規表現法とは異なり、提案した表現は微分可能で可逆である。
  論文  参考訳（メタデータ） (2020-12-05T13:19:55Z)
• End-to-End 3D Point Cloud Learning for Registration Task Using Virtual Correspondences [17.70819292121181]
  3Dポイントのクラウド登録は、2つのポイントのクラウド間の厳密な変換を見つけるのが難しいため、依然として非常に難しいトピックである。 本稿では,ポイントクラウド登録問題を解決するために,エンドツーエンドのディープラーニングに基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2020-11-30T06:55:05Z)
• Graphite: GRAPH-Induced feaTure Extraction for Point Cloud Registration [80.69255347486693]
  我々は、シンプルな機能とキーポイント検出器である Graph-induced feaTure extract Pipeline を導入する。 我々は,点クラウド領域を記述し,有意な点を抽出する汎用的なグラフベース学習手法を構築した。 我々は3Dキーポイントパイプラインをグラフニューラルネットワークで再構成し、ポイントセットの効率的な処理を可能にする。
  論文  参考訳（メタデータ） (2020-10-18T19:41:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。