論文の概要: Panoptic-PHNet: Towards Real-Time and High-Precision LiDAR Panoptic
Segmentation via Clustering Pseudo Heatmap
- arxiv url: http://arxiv.org/abs/2205.07002v1
- Date: Sat, 14 May 2022 08:16:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-17 15:42:39.074177
- Title: Panoptic-PHNet: Towards Real-Time and High-Precision LiDAR Panoptic
Segmentation via Clustering Pseudo Heatmap
- Title(参考訳): Panoptic-PHNet:クラスタリング擬似熱マップによるリアルタイム・高精度LiDARパン光学分割を目指して
- Authors: Jinke Li, Xiao He, Yang Wen, Yuan Gao, Xiaoqiang Cheng, Dan Zhang
- Abstract要約: 本稿では,Panoptic-PHNetと呼ばれる高速かつ高性能なLiDARベースのフレームワークを提案する。
我々は、クラスタリング擬似ヒートマップを新しいパラダイムとして導入し、それに続いて、集中型グループ化モジュールが、効率的なクラスタリングのためにインスタンスセンタを生成する。
バックボーンデザインでは、細粒度のボクセル機能と2D Bird's Eye View (BEV)機能を異なる受容領域に融合し、詳細情報とグローバル情報の両方を利用する。
- 参考スコア(独自算出の注目度): 9.770808277353128
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a rising task, panoptic segmentation is faced with challenges in both
semantic segmentation and instance segmentation. However, in terms of speed and
accuracy, existing LiDAR methods in the field are still limited. In this paper,
we propose a fast and high-performance LiDAR-based framework, referred to as
Panoptic-PHNet, with three attractive aspects: 1) We introduce a clustering
pseudo heatmap as a new paradigm, which, followed by a center grouping module,
yields instance centers for efficient clustering without object-level learning
tasks. 2) A knn-transformer module is proposed to model the interaction among
foreground points for accurate offset regression. 3) For backbone design, we
fuse the fine-grained voxel features and the 2D Bird's Eye View (BEV) features
with different receptive fields to utilize both detailed and global
information. Extensive experiments on both SemanticKITTI dataset and nuScenes
dataset show that our Panoptic-PHNet surpasses state-of-the-art methods by
remarkable margins with a real-time speed. We achieve the 1st place on the
public leaderboard of SemanticKITTI and leading performance on the recently
released leaderboard of nuScenes.
- Abstract(参考訳): 上昇するタスクとして、セグメンテーションはセグメンテーションとインスタンスセグメンテーションの両方において課題に直面している。
しかし、速度と精度の面では、既存のLiDAR法はまだ限られている。
本稿では,Panoptic-PHNetと呼ばれる高速かつ高性能なLiDARベースのフレームワークを提案する。
1) 新しいパラダイムとしてクラスタリング擬似ヒートマップを導入し,それに続いて中心グループ化モジュールが,オブジェクトレベルの学習タスクを使わずに,効率的なクラスタリングのためのインスタンスセンタを生成する。
2) 正確なオフセット回帰のために, 前景点間の相互作用をモデル化する knn-transformer モジュールを提案する。
3) バックボーンデザインでは, 細粒度のボクセル特徴と2D Bird's Eye View (BEV) 特徴を異なる受容領域で融合させ, 詳細情報とグローバル情報の両方を利用する。
SemanticKITTIデータセットとnuScenesデータセットの両方での大規模な実験により、私たちのPanoptic-PHNetは最先端の手法をはるかに超え、リアルタイムな速度で実現しています。
我々は、semantickittiの公開リーダーボードで1位を獲得し、最近リリースされたnuscenesのリーダーボードでトップパフォーマンスを達成します。
関連論文リスト
- PVAFN: Point-Voxel Attention Fusion Network with Multi-Pooling Enhancing for 3D Object Detection [59.355022416218624]
点とボクセルの表現の統合は、LiDARベースの3Dオブジェクト検出においてより一般的になりつつある。
PVAFN(Point-Voxel Attention Fusion Network)と呼ばれる新しい2段3次元物体検出器を提案する。
PVAFNはマルチプール戦略を使用して、マルチスケールとリージョン固有の情報を効果的に統合する。
論文 参考訳(メタデータ) (2024-08-26T19:43:01Z) - PointOcc: Cylindrical Tri-Perspective View for Point-based 3D Semantic
Occupancy Prediction [72.75478398447396]
本稿では,点雲を効果的かつ包括的に表現する円筒型三重対視図を提案する。
また,LiDAR点雲の距離分布を考慮し,円筒座標系における三点ビューを構築した。
プロジェクション中に構造の詳細を維持するために空間群プーリングを使用し、各TPV平面を効率的に処理するために2次元バックボーンを採用する。
論文 参考訳(メタデータ) (2023-08-31T17:57:17Z) - LiDAR-Camera Panoptic Segmentation via Geometry-Consistent and
Semantic-Aware Alignment [63.83894701779067]
我々は,最初のLiDAR-Camera Panoptic NetworkであるLCPSを提案する。
提案手法では,LiDAR-Camera融合を3段階に分けて行う。
我々の融合戦略は、NuScenesデータセット上のLiDARのみのベースラインに対して、約6.9%のPQ性能を改善する。
論文 参考訳(メタデータ) (2023-08-03T10:57:58Z) - Rethinking Range View Representation for LiDAR Segmentation [66.73116059734788]
「多対一」マッピング、意味的不整合、形状変形は、射程射影からの効果的な学習に対する障害となる可能性がある。
RangeFormerは、ネットワークアーキテクチャ、データ拡張、後処理を含む新しい設計を含む、フルサイクルのフレームワークである。
比較対象のLiDARセマンティックスとパノプティックスセグメンテーションのベンチマークにおいて,初めてレンジビュー法が点,ボクセル,マルチビューフュージョンを越えられることを示す。
論文 参考訳(メタデータ) (2023-03-09T16:13:27Z) - LiDAR-based 4D Panoptic Segmentation via Dynamic Shifting Network [56.71765153629892]
本稿では,ポイントクラウド領域における効果的な単視分割フレームワークとして機能する動的シフトネットワーク(DS-Net)を提案する。
提案するDS-Netは,両タスクの現在の最先端手法よりも優れた精度を実現する。
DS-Netを4次元パノプティカルLiDARセグメンテーションに拡張し、一列のLiDARフレーム上で時間的に統一されたインスタンスクラスタリングを行う。
論文 参考訳(メタデータ) (2022-03-14T15:25:42Z) - CPSeg: Cluster-free Panoptic Segmentation of 3D LiDAR Point Clouds [2.891413712995641]
CPSegと呼ばれるLiDAR点雲のための新しいリアルタイム・エンド・エンド・エンド・パノプティクス・セグメンテーション・ネットワークを提案する。
CPSegは、共有エンコーダ、デュアルデコーダ、タスク認識アテンションモジュール(TAM)、クラスタフリーインスタンスセグメンテーションヘッドを備える。
論文 参考訳(メタデータ) (2021-11-02T16:44:06Z) - Panoptic-PolarNet: Proposal-free LiDAR Point Cloud Panoptic Segmentation [21.296942497092402]
我々は、Panoptic-PolarNetと呼ばれる高速で堅牢なLiDARポイントクラウドパノラマセグメンテーションフレームワークを提示します。
ポーラバードのアイビュー表現を用いて,セマンティックセグメンテーションとクラス非依存のインスタンスクラスタリングの両方を単一推論ネットワークで学習する。
実験の結果,Panoptic-PolarNetは,Semantic KITTIおよびnuScenesデータセットのベースライン手法をほぼリアルタイムな推論速度で上回っていることがわかった。
論文 参考訳(メタデータ) (2021-03-27T18:31:40Z) - RPVNet: A Deep and Efficient Range-Point-Voxel Fusion Network for LiDAR
Point Cloud Segmentation [28.494690309193068]
RPVNetと呼ばれる、新しいレンジポイント・ボクセル融合ネットワークを提案する。
このネットワークでは,これら3つの視点を相互に相互に相互作用する深層融合フレームワークを考案する。
この効率的な相互作用と比較的低いボクセル解像度を利用することで、より効率的であることが証明された。
論文 参考訳(メタデータ) (2021-03-24T04:24:12Z) - LiDAR-based Panoptic Segmentation via Dynamic Shifting Network [56.71765153629892]
LiDARベースのパノプティカルセグメンテーションは、オブジェクトとシーンを統一的に解析することを目的としている。
本稿では,ポイントクラウド領域における効果的な単視分割フレームワークとして機能する動的シフトネットワーク(DS-Net)を提案する。
提案するDS-Netは,現在の最先端手法よりも優れた精度を実現する。
論文 参考訳(メタデータ) (2020-11-24T08:44:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。