論文の概要: PSGformer: Enhancing 3D Point Cloud Instance Segmentation via Precise
Semantic Guidance
- arxiv url: http://arxiv.org/abs/2307.07708v1
- Date: Sat, 15 Jul 2023 04:45:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 18:18:19.659051
- Title: PSGformer: Enhancing 3D Point Cloud Instance Segmentation via Precise
Semantic Guidance
- Title(参考訳): PSGformer: 精密セマンティックガイダンスによる3Dポイントクラウドインスタンスセグメンテーションの強化
- Authors: Lei Pan, Wuyang Luan, Yuan Zheng, Qiang Fu, Junhui Li
- Abstract要約: PSGformerは、新しい3Dインスタンスセグメンテーションネットワークである。
3Dインスタンスセグメンテーションのパフォーマンスを高めるために、2つの重要な進歩が組み込まれている。
これは、mAPの点でScanNetv2の隠れテストセットで比較した最先端のメソッドを2.2%上回る。
- 参考スコア(独自算出の注目度): 11.097083846498581
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most existing 3D instance segmentation methods are derived from 3D semantic
segmentation models. However, these indirect approaches suffer from certain
limitations. They fail to fully leverage global and local semantic information
for accurate prediction, which hampers the overall performance of the 3D
instance segmentation framework. To address these issues, this paper presents
PSGformer, a novel 3D instance segmentation network. PSGformer incorporates two
key advancements to enhance the performance of 3D instance segmentation.
Firstly, we propose a Multi-Level Semantic Aggregation Module, which
effectively captures scene features by employing foreground point filtering and
multi-radius aggregation. This module enables the acquisition of more detailed
semantic information from global and local perspectives. Secondly, PSGformer
introduces a Parallel Feature Fusion Transformer Module that independently
processes super-point features and aggregated features using transformers. The
model achieves a more comprehensive feature representation by the features
which connect global and local features. We conducted extensive experiments on
the ScanNetv2 dataset. Notably, PSGformer exceeds compared state-of-the-art
methods by 2.2% on ScanNetv2 hidden test set in terms of mAP. Our code and
models will be publicly released.
- Abstract(参考訳): 既存の3Dインスタンスセグメンテーション手法の多くは、3Dセグメンテーションモデルから派生している。
しかし、これらの間接的なアプローチは特定の制限に悩まされる。
正確な予測のためにグローバルとローカルのセマンティック情報を十分に活用できないため、3dインスタンスセグメンテーションフレームワークの全体的なパフォーマンスが損なわれる。
そこで本研究では,新しい3Dインスタンス分割ネットワークPSGformerを提案する。
PSGformerは2つの重要な進歩を取り入れ、3Dインスタンスセグメンテーションのパフォーマンスを向上させる。
まず,前景点フィルタリングとマルチラジウスアグリゲーションを用いてシーン特徴を効果的に捉えるマルチレベルセマンティクスアグリゲーションモジュールを提案する。
このモジュールは、グローバルおよびローカルの観点からより詳細な意味情報の取得を可能にする。
第二にPSGformerは並列フィーチャーフュージョントランスフォーマーモジュールを導入し、トランスフォーマーを使用してスーパーポイント特徴と集約された特徴を独立して処理する。
このモデルは、グローバル機能とローカル機能をつなぐ機能によって、より包括的な機能表現を実現する。
scannetv2データセットについて広範な実験を行った。
特にPSGformerは、mAPの点でScanNetv2の隠れテストセットで比較した最先端のメソッドを2.2%上回る。
私たちのコードとモデルは公開されます。
関連論文リスト
- View-Consistent Hierarchical 3D Segmentation Using Ultrametric Feature Fields [52.08335264414515]
我々は3次元シーンを表すニューラル・レージアンス・フィールド(NeRF)内の新しい特徴場を学習する。
本手法は、ビュー一貫性の多粒性2Dセグメンテーションを入力とし、3D一貫性のセグメンテーションの階層構造を出力として生成する。
提案手法と,多視点画像と多粒性セグメンテーションを用いた合成データセットのベースラインの評価を行い,精度と視点整合性を向上したことを示す。
論文 参考訳(メタデータ) (2024-05-30T04:14:58Z) - SPGroup3D: Superpoint Grouping Network for Indoor 3D Object Detection [23.208654655032955]
屋内シーンにおける現在の3Dオブジェクト検出手法は,主に投票・グループ化戦略に従って提案を行う。
屋内アンカーフリーワンステージ3次元物体検出のための新しいスーパーポイントグループネットワークを提案する。
実験により,ScanNet V2, SUN RGB-D, S3DISデータセット上での最先端性能を実証した。
論文 参考訳(メタデータ) (2023-12-21T08:08:02Z) - Prototype Adaption and Projection for Few- and Zero-shot 3D Point Cloud
Semantic Segmentation [30.18333233940194]
本研究は, 少数ショットとゼロショットの3Dポイントクラウドセマンティックセマンティックセグメンテーションの課題に対処する。
提案手法は,S3DISベンチマークとScanNetベンチマークの2方向1ショット設定により,最先端のアルゴリズムを約7.90%,14.82%上回る。
論文 参考訳(メタデータ) (2023-05-23T17:58:05Z) - Position-Guided Point Cloud Panoptic Segmentation Transformer [118.17651196656178]
この作業は、LiDARベースのポイントクラウドセグメンテーションにこの魅力的なパラダイムを適用し、シンプルだが効果的なベースラインを得ることから始まります。
スパース点雲のインスタンスはシーン全体に対して比較的小さく、しばしば類似した形状を持つが、画像領域では珍しいセグメンテーションの外観が欠如している。
position-guided Point cloud Panoptic segmentation transFormer (P3Former) と名付けられたこの手法は、Semantic KITTI と nuScenes のベンチマークでそれぞれ3.4%、そして 1.2%の性能をそれぞれ上回っている。
論文 参考訳(メタデータ) (2023-03-23T17:59:02Z) - Part-guided Relational Transformers for Fine-grained Visual Recognition [59.20531172172135]
識別的特徴を学習し,特徴変換モジュールとの相関関係を探索するフレームワークを提案する。
提案手法は,3-of-the-levelオブジェクト認識において,部分ブランチの追加に頼らず,最先端の性能に達する。
論文 参考訳(メタデータ) (2022-12-28T03:45:56Z) - Superpoint Transformer for 3D Scene Instance Segmentation [7.07321040534471]
本稿では,SPFormer という名称の Superpoint Transformer に基づく,エンドツーエンドの3Dインスタンス分割手法を提案する。
ポイントクラウドからスーパーポイントに潜在的な機能をグループ化し、クエリベクタを通じてインスタンスを直接予測する。
これは、mAPの点でScanNetv2の隠れテストセットを4.3%上回り、高速な推論速度(フレーム当たり247ms)を同時に維持する。
論文 参考訳(メタデータ) (2022-11-28T20:52:53Z) - CAGroup3D: Class-Aware Grouping for 3D Object Detection on Point Clouds [55.44204039410225]
本稿では,CAGroup3Dという新しい2段階完全スパース3Dオブジェクト検出フレームワークを提案する。
提案手法は,まず,オブジェクト表面のボクセル上でのクラス認識型局所群戦略を活用することによって,高品質な3D提案を生成する。
不正なボクセルワイドセグメンテーションにより欠落したボクセルの特徴を回復するために,完全にスパースな畳み込み型RoIプールモジュールを構築した。
論文 参考訳(メタデータ) (2022-10-09T13:38:48Z) - LATFormer: Locality-Aware Point-View Fusion Transformer for 3D Shape
Recognition [38.540048855119004]
そこで我々は,3次元形状検索と分類のためのLATFormer(Locality-Aware Point-View Fusion Transformer)を提案する。
LATFormerの中核となるコンポーネントはLocality-Aware Fusion (LAF) という名前のモジュールで、2つのモードにまたがる関連領域の局所的特徴を統合する。
LATFormerでは,LAFモジュールを用いて双方向および階層的に2つのモードのマルチスケール機能を融合し,より情報的な特徴を得る。
論文 参考訳(メタデータ) (2021-09-03T03:23:27Z) - Dynamic Convolution for 3D Point Cloud Instance Segmentation [146.7971476424351]
動的畳み込みに基づく3次元点雲からのインスタンスセグメンテーション手法を提案する。
我々は、同じ意味圏と閉投票を持つ等質点を幾何学的遠近点に対して収集する。
提案手法は提案不要であり、代わりに各インスタンスの空間的および意味的特性に適応する畳み込みプロセスを利用する。
論文 参考訳(メタデータ) (2021-07-18T09:05:16Z) - Similarity-Aware Fusion Network for 3D Semantic Segmentation [87.51314162700315]
本研究では,3次元セマンティックセグメンテーションのための2次元画像と3次元点雲を適応的に融合する類似性認識融合ネットワーク(SAFNet)を提案する。
我々は、入力とバックプロジェクションされた(2Dピクセルから)点雲の間の幾何学的および文脈的類似性を初めて学習する、後期融合戦略を採用している。
SAFNetは、様々なデータ完全性にまたがって、既存の最先端の核融合ベースのアプローチを著しく上回っている。
論文 参考訳(メタデータ) (2021-07-04T09:28:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。