論文の概要: Deep Semantic Graph Matching for Large-scale Outdoor Point Clouds
Registration
- arxiv url: http://arxiv.org/abs/2308.05314v2
- Date: Wed, 18 Oct 2023 01:19:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-19 19:38:55.924262
- Title: Deep Semantic Graph Matching for Large-scale Outdoor Point Clouds
Registration
- Title(参考訳): 大規模屋外点群登録のための深部意味グラフマッチング
- Authors: Shaocong Liu, Tao Wang, Yan Zhang, Ruqin Zhou, Li Li, Chenguang Dai,
Yongsheng Zhang, Longguang Wang, Hanyun Wang
- Abstract要約: 我々は、ポイントクラウド登録問題をセマンティックインスタンスマッチングと登録タスクとして扱う。
大規模屋外クラウド登録のためのディープセマンティックグラフマッチング法(DeepSGM)を提案する。
KITTIオドメトリデータセットで行った実験結果から,提案手法が登録性能を向上させることが示された。
- 参考スコア(独自算出の注目度): 22.308070598885532
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current point cloud registration methods are mainly based on local geometric
information and usually ignore the semantic information contained in the
scenes. In this paper, we treat the point cloud registration problem as a
semantic instance matching and registration task, and propose a deep semantic
graph matching method (DeepSGM) for large-scale outdoor point cloud
registration. Firstly, the semantic categorical labels of 3D points are
obtained using a semantic segmentation network. The adjacent points with the
same category labels are then clustered together using the Euclidean clustering
algorithm to obtain the semantic instances, which are represented by three
kinds of attributes including spatial location information, semantic
categorical information, and global geometric shape information. Secondly, the
semantic adjacency graph is constructed based on the spatial adjacency
relations of semantic instances. To fully explore the topological structures
between semantic instances in the same scene and across different scenes, the
spatial distribution features and the semantic categorical features are learned
with graph convolutional networks, and the global geometric shape features are
learned with a PointNet-like network. These three kinds of features are further
enhanced with the self-attention and cross-attention mechanisms. Thirdly, the
semantic instance matching is formulated as an optimal transport problem, and
solved through an optimal matching layer. Finally, the geometric transformation
matrix between two point clouds is first estimated by the SVD algorithm and
then refined by the ICP algorithm. Experimental results conducted on the KITTI
Odometry dataset demonstrate that the proposed method improves the registration
performance and outperforms various state-of-the-art methods.
- Abstract(参考訳): 現在のクラウド登録法は主に局所的な幾何学的情報に基づいており、通常はシーンに含まれる意味情報を無視する。
本稿では,ポイントクラウド登録問題を意味インスタンスマッチングおよび登録タスクとして扱い,大規模アウトドアポイントクラウド登録のためのdeep semantic graph matching method (deepsgm)を提案する。
まず、意味的セグメンテーションネットワークを用いて、3Dポイントの意味的分類ラベルを得る。
次に、同一のカテゴリラベルを持つ隣接点をユークリッドクラスタリングアルゴリズムを用いてクラスタ化し、空間的位置情報、意味的分類情報、大域的幾何学的形状情報を含む3種類の属性で表される意味インスタンスを得る。
次に、セマンティックインスタンスの空間的隣接関係に基づいてセマンティック隣接グラフを構築する。
同一シーンのセマンティックインスタンスと異なるシーン間のトポロジ構造を網羅するために,グラフ畳み込みネットワークを用いて空間分布特徴とセマンティックカテゴリー特徴を学習し,ポイントネットのようなネットワークを用いてグローバルな幾何学的形状特徴を学習する。
これらの3種類の特徴は、自己注意機構と相互注意機構によってさらに強化される。
第3に、セマンティックインスタンスマッチングを最適なトランスポート問題として定式化し、最適なマッチング層を通して解く。
最後に、2つの点雲間の幾何変換行列を最初にsvdアルゴリズムで推定し、その後icpアルゴリズムによって洗練する。
KITTIオドメトリデータセットで行った実験結果から,提案手法は登録性能を向上し,各種の最先端手法よりも優れた性能を示した。
関連論文リスト
- Open-Vocabulary Octree-Graph for 3D Scene Understanding [54.11828083068082]
Octree-Graphはオープンな3Dシーン理解のための新しいシーン表現である。
セマンティクスを記憶し、その形状に応じてオブジェクトの占有度を調節するアダプティブ・オクツリー構造を開発する。
論文 参考訳(メタデータ) (2024-11-25T10:14:10Z) - LISNeRF Mapping: LiDAR-based Implicit Mapping via Semantic Neural Fields for Large-Scale 3D Scenes [2.822816116516042]
大規模セマンティックマッピングは、屋外の自律エージェントが計画やナビゲーションといった高度なタスクを遂行するために不可欠である。
本稿では,提案するLiDAR測度のみでの暗黙的表現による大規模3次元意味再構築手法を提案する。
論文 参考訳(メタデータ) (2023-11-04T03:55:38Z) - Clustering based Point Cloud Representation Learning for 3D Analysis [80.88995099442374]
本稿では,ポイントクラウド分析のためのクラスタリングに基づく教師付き学習手法を提案する。
現在のデファクトでシーンワイドなトレーニングパラダイムとは異なり、我々のアルゴリズムは点埋め込み空間上でクラス内のクラスタリングを行う。
我々のアルゴリズムは、有名なポイントクラウドセグメンテーションデータセットの顕著な改善を示している。
論文 参考訳(メタデータ) (2023-07-27T03:42:12Z) - GFNet: Geometric Flow Network for 3D Point Cloud Semantic Segmentation [91.15865862160088]
本稿では,異なるビュー間の幾何対応性を検討するための幾何フローネットワーク (GFNet) を提案する。
具体的には、異なる視点にまたがって補完情報を双方向に整列し、伝播する新しい幾何フローモジュール(GFM)を考案する。
論文 参考訳(メタデータ) (2022-07-06T11:48:08Z) - SemAffiNet: Semantic-Affine Transformation for Point Cloud Segmentation [94.11915008006483]
ポイントクラウドセマンティックセグメンテーションのためのSemAffiNetを提案する。
我々はScanNetV2とNYUv2データセットについて広範な実験を行った。
論文 参考訳(メタデータ) (2022-05-26T17:00:23Z) - Semantic Segmentation for Point Cloud Scenes via Dilated Graph Feature
Aggregation and Pyramid Decoders [15.860648472852597]
拡張グラフ特徴集合(DGFA)をルーツとするグラフ畳み込みネットワークDGFA-Netを提案する。
S3DIS、ShapeNetPart、Tronto-3Dの実験は、DGFA-Netがベースラインアプローチよりも優れていることを示している。
論文 参考訳(メタデータ) (2022-04-11T08:41:01Z) - Box2Seg: Learning Semantics of 3D Point Clouds with Box-Level
Supervision [65.19589997822155]
我々は3Dポイントクラウドのポイントレベルのセマンティクスをバウンディングボックスレベルの監視で学習するために,Box2Segと呼ばれるニューラルアーキテクチャを導入する。
提案するネットワークは,安価な,あるいは既定のバウンディングボックスレベルのアノテーションやサブクラウドレベルのタグでトレーニング可能であることを示す。
論文 参考訳(メタデータ) (2022-01-09T09:07:48Z) - GP-S3Net: Graph-based Panoptic Sparse Semantic Segmentation Network [1.9949920338542213]
GP-S3Netは提案なしのアプローチであり、オブジェクトを識別するためにオブジェクトの提案は必要ない。
私たちの新しいデザインは、セマンティックな結果を処理する新しいインスタンスレベルのネットワークで構成されています。
GP-S3Netは現在の最先端のアプローチよりも優れていた。
論文 参考訳(メタデータ) (2021-08-18T21:49:58Z) - Primal-Dual Mesh Convolutional Neural Networks [62.165239866312334]
本稿では,グラフ・ニューラル・ネットワークの文献からトライアングル・メッシュへ引き起こされた原始双対のフレームワークを提案する。
提案手法は,3次元メッシュのエッジと顔の両方を入力として特徴付け,動的に集約する。
メッシュ単純化の文献から得られたツールを用いて、我々のアプローチに関する理論的知見を提供する。
論文 参考訳(メタデータ) (2020-10-23T14:49:02Z) - Self-Prediction for Joint Instance and Semantic Segmentation of Point
Clouds [41.75579185647845]
我々は,3次元のインスタンスと点雲のセマンティックセグメンテーションのための新たな学習手法であるSelf-Predictionを開発した。
本手法は,S3DISとShapeNetのインスタンスセグメンテーション結果と,S3DISとShapeNetのセグメンテーション結果に匹敵するセグメンテーション結果を得る。
論文 参考訳(メタデータ) (2020-07-27T07:58:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。