論文の概要: LiDAR-based Panoptic Segmentation via Dynamic Shifting Network
- arxiv url: http://arxiv.org/abs/2011.11964v2
- Date: Tue, 1 Dec 2020 05:49:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 13:29:03.781067
- Title: LiDAR-based Panoptic Segmentation via Dynamic Shifting Network
- Title（参考訳）: 動的シフトネットワークによるLiDARによるパノプティカルセグメンテーション
- Authors: Fangzhou Hong, Hui Zhou, Xinge Zhu, Hongsheng Li, Ziwei Liu
- Abstract要約: LiDARベースのパノプティカルセグメンテーションは、オブジェクトとシーンを統一的に解析することを目的としている。
本稿では,ポイントクラウド領域における効果的な単視分割フレームワークとして機能する動的シフトネットワーク(DS-Net)を提案する。
提案するDS-Netは,現在の最先端手法よりも優れた精度を実現する。
- 参考スコア（独自算出の注目度）: 56.71765153629892
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: With the rapid advances of autonomous driving, it becomes critical to equip
its sensing system with more holistic 3D perception. However, existing works
focus on parsing either the objects (e.g. cars and pedestrians) or scenes (e.g.
trees and buildings) from the LiDAR sensor. In this work, we address the task
of LiDAR-based panoptic segmentation, which aims to parse both objects and
scenes in a unified manner. As one of the first endeavors towards this new
challenging task, we propose the Dynamic Shifting Network (DS-Net), which
serves as an effective panoptic segmentation framework in the point cloud
realm. In particular, DS-Net has three appealing properties: 1) strong backbone
design. DS-Net adopts the cylinder convolution that is specifically designed
for LiDAR point clouds. The extracted features are shared by the semantic
branch and the instance branch which operates in a bottom-up clustering style.
2) Dynamic Shifting for complex point distributions. We observe that
commonly-used clustering algorithms like BFS or DBSCAN are incapable of
handling complex autonomous driving scenes with non-uniform point cloud
distributions and varying instance sizes. Thus, we present an efficient
learnable clustering module, dynamic shifting, which adapts kernel functions
on-the-fly for different instances. 3) Consensus-driven Fusion. Finally,
consensus-driven fusion is used to deal with the disagreement between semantic
and instance predictions. To comprehensively evaluate the performance of
LiDAR-based panoptic segmentation, we construct and curate benchmarks from two
large-scale autonomous driving LiDAR datasets, SemanticKITTI and nuScenes.
Extensive experiments demonstrate that our proposed DS-Net achieves superior
accuracies over current state-of-the-art methods. Notably, we achieve 1st place
on the public leaderboard of SemanticKITTI, outperforming 2nd place by 2.6% in
terms of the PQ metric.
- Abstract（参考訳）: 自動運転の急速な進歩により、そのセンシングシステムはより全体論的3d知覚を備えることが重要になる。
しかし、既存の作品は、lidarセンサーから物体(車や歩行者など)やシーン(木や建物など)を解析することに焦点を当てている。
本研究では,オブジェクトとシーンを統一的に解析することを目的とした,LiDARに基づくパノプティックセグメンテーションの課題に対処する。
本稿では,この新しい課題に対する最初の取り組みとして,ポイントクラウド領域における効果的なパノミックセグメンテーションフレームワークとして機能する動的シフトネットワーク(ds-net)を提案する。
特にds-netには3つの魅力がある。
1) 強力なバックボーン設計。
DS-Netは、LiDAR点雲用に特別に設計されたシリンダー畳み込みを採用している。
抽出された機能は、セマンティックブランチとボトムアップクラスタリングスタイルで動作するインスタンスブランチによって共有される。
2)複素点分布に対する動的シフト
BFSやDBSCANのような一般的なクラスタリングアルゴリズムは、一様でない点のクラウド分布とさまざまなインスタンスサイズで複雑な自律走行シーンを処理できない。
そこで我々は,異なるインスタンスに対してオンザフライでカーネル関数を適応させる効率的な学習可能なクラスタリングモジュールである動的シフトを提案する。
3)合意駆動核融合
最後に、セマンティックとインスタンス予測の相違に対処するためにコンセンサス駆動の融合が使用される。
そこで我々は,LiDARを用いた大規模自動運転LiDARデータセットであるSemanticKITTIとnuScenesのベンチマークを構築し,評価した。
提案するDS-Netは,現在の最先端手法よりも精度が高いことを示す。
特にsemantickittiの公開リーダボードでは,pqメトリックの2.6%を上回って,第1位を達成しています。
関連論文リスト
- Self-supervised Learning of LiDAR 3D Point Clouds via 2D-3D Neural Calibration [107.61458720202984]
本稿では,自律走行シーンにおける3次元知覚を高めるための,新しい自己教師型学習フレームワークを提案する。
本稿では,画像とポイントクラウドデータの領域ギャップを埋めるために,学習可能な変換アライメントを提案する。
我々は剛性ポーズを推定するために密度の高い2D-3D対応を確立する。
論文 参考訳（メタデータ） (2024-01-23T02:41:06Z) - LiDAR-Camera Panoptic Segmentation via Geometry-Consistent and
Semantic-Aware Alignment [63.83894701779067]
我々は,最初のLiDAR-Camera Panoptic NetworkであるLCPSを提案する。
提案手法では,LiDAR-Camera融合を3段階に分けて行う。
我々の融合戦略は、NuScenesデータセット上のLiDARのみのベースラインに対して、約6.9%のPQ性能を改善する。
論文 参考訳（メタデータ） (2023-08-03T10:57:58Z) - LWSIS: LiDAR-guided Weakly Supervised Instance Segmentation for
Autonomous Driving [34.119642131912485]
より巧妙なフレームワークであるLiDAR誘導弱監視インスタンス(LWSIS)を提示する。
LWSISは市販の3Dデータ、すなわちポイントクラウドと3Dボックスを2Dイメージインスタンスセグメンテーションモデルをトレーニングするための自然な弱い監督手段として使用している。
我々のLWSISは、訓練中のマルチモーダルデータの補完情報を利用するだけでなく、密集した2Dマスクのコストを大幅に削減します。
論文 参考訳（メタデータ） (2022-12-07T08:08:01Z) - Panoptic-PHNet: Towards Real-Time and High-Precision LiDAR Panoptic
Segmentation via Clustering Pseudo Heatmap [9.770808277353128]
本稿では,Panoptic-PHNetと呼ばれる高速かつ高性能なLiDARベースのフレームワークを提案する。
我々は、クラスタリング擬似ヒートマップを新しいパラダイムとして導入し、それに続いて、集中型グループ化モジュールが、効率的なクラスタリングのためにインスタンスセンタを生成する。
バックボーンデザインでは、細粒度のボクセル機能と2D Bird's Eye View (BEV)機能を異なる受容領域に融合し、詳細情報とグローバル情報の両方を利用する。
論文 参考訳（メタデータ） (2022-05-14T08:16:13Z) - LiDAR-based 4D Panoptic Segmentation via Dynamic Shifting Network [56.71765153629892]
本稿では,ポイントクラウド領域における効果的な単視分割フレームワークとして機能する動的シフトネットワーク(DS-Net)を提案する。
提案するDS-Netは,両タスクの現在の最先端手法よりも優れた精度を実現する。
DS-Netを4次元パノプティカルLiDARセグメンテーションに拡張し、一列のLiDARフレーム上で時間的に統一されたインスタンスクラスタリングを行う。
論文 参考訳（メタデータ） (2022-03-14T15:25:42Z) - The Devil is in the Task: Exploiting Reciprocal Appearance-Localization
Features for Monocular 3D Object Detection [62.1185839286255]
低コストのモノクル3D物体検出は、自律運転において基本的な役割を果たす。
DFR-Netという動的特徴反射ネットワークを導入する。
我々は、KITTIテストセットの全ての単分子3D物体検出器の中で、第1位にランク付けする。
論文 参考訳（メタデータ） (2021-12-28T07:31:18Z) - CPSeg: Cluster-free Panoptic Segmentation of 3D LiDAR Point Clouds [2.891413712995641]
CPSegと呼ばれるLiDAR点雲のための新しいリアルタイム・エンド・エンド・エンド・パノプティクス・セグメンテーション・ネットワークを提案する。
CPSegは、共有エンコーダ、デュアルデコーダ、タスク認識アテンションモジュール(TAM)、クラスタフリーインスタンスセグメンテーションヘッドを備える。
論文 参考訳（メタデータ） (2021-11-02T16:44:06Z) - Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR-based
Perception [122.53774221136193]
運転時のLiDARに基づく認識のための最先端の手法は、しばしば点雲を2D空間に投影し、2D畳み込みによって処理する。
自然な対策として、3Dボクセル化と3D畳み込みネットワークを利用する方法がある。
本研究では,3次元幾何学的パターンを探索するために,円筒状分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-12T06:25:11Z) - (AF)2-S3Net: Attentive Feature Fusion with Adaptive Feature Selection
for Sparse Semantic Segmentation Network [3.6967381030744515]
3次元LiDARセマンティックセマンティックセグメンテーションのためのエンコーダ-デコーダCNNネットワークであるAF2-S3Netを提案する。
本稿では、エンコーダに新しいマルチブランチ注意機能融合モジュール、デコーダに特徴マップを再重み付けしたユニークな適応機能選択モジュールを提案する。
実験の結果,提案手法は大規模セマンティックKITTIベンチマークにおける最先端手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2021-02-08T21:04:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。