論文の概要: Position-Guided Point Cloud Panoptic Segmentation Transformer
- arxiv url: http://arxiv.org/abs/2303.13509v1
- Date: Thu, 23 Mar 2023 17:59:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 12:44:08.796449
- Title: Position-Guided Point Cloud Panoptic Segmentation Transformer
- Title(参考訳): 位置ガイド型ポイントクラウド・パノプティブ・セグメンテーション・トランス
- Authors: Zeqi Xiao, Wenwei Zhang, Tai Wang, Chen Change Loy, Dahua Lin,
Jiangmiao Pang
- Abstract要約: この作業は、LiDARベースのポイントクラウドセグメンテーションにこの魅力的なパラダイムを適用し、シンプルだが効果的なベースラインを得ることから始まります。
スパース点雲のインスタンスはシーン全体に対して比較的小さく、しばしば類似した形状を持つが、画像領域では珍しいセグメンテーションの外観が欠如している。
position-guided Point cloud Panoptic segmentation transFormer (P3Former) と名付けられたこの手法は、Semantic KITTI と nuScenes のベンチマークでそれぞれ3.4%、そして 1.2%の性能をそれぞれ上回っている。
- 参考スコア(独自算出の注目度): 118.17651196656178
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: DEtection TRansformer (DETR) started a trend that uses a group of learnable
queries for unified visual perception. This work begins by applying this
appealing paradigm to LiDAR-based point cloud segmentation and obtains a simple
yet effective baseline. Although the naive adaptation obtains fair results, the
instance segmentation performance is noticeably inferior to previous works. By
diving into the details, we observe that instances in the sparse point clouds
are relatively small to the whole scene and often have similar geometry but
lack distinctive appearance for segmentation, which are rare in the image
domain. Considering instances in 3D are more featured by their positional
information, we emphasize their roles during the modeling and design a robust
Mixed-parameterized Positional Embedding (MPE) to guide the segmentation
process. It is embedded into backbone features and later guides the mask
prediction and query update processes iteratively, leading to Position-Aware
Segmentation (PA-Seg) and Masked Focal Attention (MFA). All these designs impel
the queries to attend to specific regions and identify various instances. The
method, named Position-guided Point cloud Panoptic segmentation transFormer
(P3Former), outperforms previous state-of-the-art methods by 3.4% and 1.2% PQ
on SemanticKITTI and nuScenes benchmark, respectively. The source code and
models are available at https://github.com/SmartBot-PJLab/P3Former .
- Abstract(参考訳): Detection TRansformer (DETR) は、学習可能なクエリのグループを使用して視覚を統一するトレンドを開始した。
この作業は、LiDARベースのポイントクラウドセグメンテーションにこの魅力的なパラダイムを適用し、シンプルだが効果的なベースラインを得ることから始まります。
ナイーブ適応は公平な結果が得られるが、インスタンスセグメンテーション性能は以前の作品よりも顕著に劣る。
詳細を掘り下げてみると、スパースポイント雲のインスタンスはシーン全体に対して比較的小さく、しばしば類似した形状を持つが、画像領域では珍しいセグメンテーションの特徴的な外観を欠いていることが分かる。
3Dのインスタンスが位置情報によって特徴付けられることを考えると、セグメンテーションプロセスのガイドとなる頑健なMixed-parameterized Positional Embedding (MPE) のモデル化と設計において、それらの役割を強調している。
バックボーン機能に組み込まれ、後にマスク予測とクエリ更新プロセスを反復的にガイドし、位置認識セグメンテーション(pa-seg)とマスキング焦点アテンション(mfa)につながる。
これらの設計はすべて、クエリを特定のリージョンに適応させ、さまざまなインスタンスを識別する。
position-guided Point cloud Panoptic segmentation transFormer (P3Former) と名付けられたこの手法は、SemanticKITTIベンチマークとnuScenesベンチマークでそれぞれ3.4%と1.2%のPQをそれぞれ上回っている。
ソースコードとモデルはhttps://github.com/SmartBot-PJLab/P3Formerで入手できる。
関連論文リスト
- Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。
我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。
これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
論文 参考訳(メタデータ) (2024-03-01T15:14:47Z) - Dynamic Prototype Adaptation with Distillation for Few-shot Point Cloud
Segmentation [32.494146296437656]
ショットポイントのクラウドセグメンテーションは、これまで見つからなかったカテゴリのポイント毎のマスクの生成を目指している。
本稿では,各クエリポイントクラウドのタスク固有のプロトタイプを明示的に学習する動的プロトタイプ適応(DPA)を提案する。
論文 参考訳(メタデータ) (2024-01-29T11:00:46Z) - EipFormer: Emphasizing Instance Positions in 3D Instance Segmentation [51.996943482875366]
本稿では, プログレッシブアグリゲーションとデュアル位置埋め込みを組み合わせた新しいトランスフォーマーアーキテクチャ, EipFormerを提案する。
EipFormerは最先端のアプローチよりも優れた、あるいは同等のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2023-12-09T16:08:47Z) - CPCM: Contextual Point Cloud Modeling for Weakly-supervised Point Cloud
Semantic Segmentation [60.0893353960514]
疎アノテーションを用いた弱教師付きポイントクラウドセマンティックセマンティックセグメンテーションの課題について検討する。
本研究では,地域マスキング(RegionMask)戦略とコンテキストマスキングトレーニング(CMT)手法の2つの部分からなるコンテキストポイントクラウドモデリング(CPCM)手法を提案する。
論文 参考訳(メタデータ) (2023-07-19T04:41:18Z) - PSGformer: Enhancing 3D Point Cloud Instance Segmentation via Precise
Semantic Guidance [11.097083846498581]
PSGformerは、新しい3Dインスタンスセグメンテーションネットワークである。
3Dインスタンスセグメンテーションのパフォーマンスを高めるために、2つの重要な進歩が組み込まれている。
これは、mAPの点でScanNetv2の隠れテストセットで比較した最先端のメソッドを2.2%上回る。
論文 参考訳(メタデータ) (2023-07-15T04:45:37Z) - Prototype Adaption and Projection for Few- and Zero-shot 3D Point Cloud
Semantic Segmentation [30.18333233940194]
本研究は, 少数ショットとゼロショットの3Dポイントクラウドセマンティックセマンティックセグメンテーションの課題に対処する。
提案手法は,S3DISベンチマークとScanNetベンチマークの2方向1ショット設定により,最先端のアルゴリズムを約7.90%,14.82%上回る。
論文 参考訳(メタデータ) (2023-05-23T17:58:05Z) - Few-Shot 3D Point Cloud Semantic Segmentation via Stratified
Class-Specific Attention Based Transformer Network [22.9434434107516]
数ショットのクラウドセマンティックセマンティックセグメンテーションのための新しい多層トランスフォーマーネットワークを開発した。
提案手法は,既存の数ショットの3Dポイントクラウドセグメンテーションモデルよりも15%少ない推論時間で,新しい最先端性能を実現する。
論文 参考訳(メタデータ) (2023-03-28T00:27:54Z) - Point Cloud Recognition with Position-to-Structure Attention
Transformers [24.74805434602145]
Position-to-Structure Attention Transformer (PS-Former) は3Dポイントクラウド認識のためのトランスフォーマーベースのアルゴリズムである。
PS-Formerは、固定グリッド構造にポイントが配置されていない3Dポイントクラウド表現の課題に対処する。
PS-Formerは、分類、部分セグメンテーション、シーンセグメンテーションを含む3つの3Dポイントクラウドタスクに対して、競争力のある実験結果を示す。
論文 参考訳(メタデータ) (2022-10-05T05:40:33Z) - SE(3)-Equivariant Attention Networks for Shape Reconstruction in
Function Space [50.14426188851305]
本稿では,第1のSE(3)-equivariant coordinate-based networkを提案する。
入力を正規格子に整列させる従来の形状再構成法とは対照的に、不規則で無向な点雲を直接操作する。
提案手法は,従来のSO(3)-equivariant法,およびSO(3)-augmented dataで訓練された非equivariant法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-04-05T17:59:15Z) - UPDesc: Unsupervised Point Descriptor Learning for Robust Registration [54.95201961399334]
UPDescは、ロバストポイントクラウド登録のためのポイント記述子を学習するための教師なしの方法である。
学習した記述子は既存の教師なし手法よりも優れた性能を示すことを示す。
論文 参考訳(メタデータ) (2021-08-05T17:11:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。