論文の概要: Spherical Frustum Sparse Convolution Network for LiDAR Point Cloud Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2311.17491v2
- Date: Mon, 28 Oct 2024 13:54:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-29 12:14:08.754726
- Title: Spherical Frustum Sparse Convolution Network for LiDAR Point Cloud Semantic Segmentation
- Title(参考訳): LiDAR点雲セマンティックセマンティックセグメンテーションのための球状フラストムスパース畳み込みネットワーク
- Authors: Yu Zheng, Guangming Wang, Jiuming Liu, Marc Pollefeys, Hesheng Wang,
- Abstract要約: LiDARポイントクラウドセマンティックセグメンテーションにより、ロボットは周囲の環境のきめ細かいセマンティック情報を得ることができる。
多くの研究が2Dイメージ上にポイントクラウドを投影し、LiDARポイントクラウドセマンティックセグメンテーションのための2D畳み込みニューラルネットワーク(CNN)またはビジョントランスフォーマーを採用する。
本稿では,情報損失の定量化を回避するために,新しい球状フラストラム構造を提案する。
- 参考スコア(独自算出の注目度): 62.258256483231484
- License:
- Abstract: LiDAR point cloud semantic segmentation enables the robots to obtain fine-grained semantic information of the surrounding environment. Recently, many works project the point cloud onto the 2D image and adopt the 2D Convolutional Neural Networks (CNNs) or vision transformer for LiDAR point cloud semantic segmentation. However, since more than one point can be projected onto the same 2D position but only one point can be preserved, the previous 2D image-based segmentation methods suffer from inevitable quantized information loss. To avoid quantized information loss, in this paper, we propose a novel spherical frustum structure. The points projected onto the same 2D position are preserved in the spherical frustums. Moreover, we propose a memory-efficient hash-based representation of spherical frustums. Through the hash-based representation, we propose the Spherical Frustum sparse Convolution (SFC) and Frustum Fast Point Sampling (F2PS) to convolve and sample the points stored in spherical frustums respectively. Finally, we present the Spherical Frustum sparse Convolution Network (SFCNet) to adopt 2D CNNs for LiDAR point cloud semantic segmentation without quantized information loss. Extensive experiments on the SemanticKITTI and nuScenes datasets demonstrate that our SFCNet outperforms the 2D image-based semantic segmentation methods based on conventional spherical projection. Codes will be available at https://github.com/IRMVLab/SFCNet.
- Abstract(参考訳): LiDARポイントクラウドセマンティックセグメンテーションにより、ロボットは周囲の環境のきめ細かいセマンティック情報を得ることができる。
最近、多くの研究が2Dイメージにポイントクラウドを投影し、LiDARポイントクラウドセマンティックセマンティックセグメンテーションのための2D畳み込みニューラルネットワーク(CNN)またはビジョントランスフォーマーを採用する。
しかし、1つ以上の点を同じ2D位置に投影できるため、1つの点しか保存できないため、以前の2D画像ベースセグメンテーション法は避けられない定量化情報損失に悩まされる。
本稿では,量子化情報損失を回避するために,新しい球状フラストラム構造を提案する。
同じ2次元位置に投影された点が球状フラスタムに保存される。
さらに, メモリ効率のよいハッシュベースの球状フラストラム表現を提案する。
ハッシュベースの表現を通して,球状フラスタムスパース・コンボリューション(SFC)とフラスタムファストポイントサンプリング(F2PS)を提案し,それぞれ球状フラスタムに格納された点をコンボリュートし,サンプル化する。
最後に,LDARポイントクラウドセマンティックセマンティックセグメンテーションに2次元CNNを採用するために,SFCNet(Spherical Frustum sparse Convolution Network)を提案する。
SemanticKITTIとnuScenesデータセットの大規模な実験により、SFCNetは従来の球面投影に基づく2次元画像に基づくセマンティックセマンティックセグメンテーション法よりも優れていることが示された。
コードはhttps://github.com/IRMVLab/SFCNet.comで入手できる。
関連論文リスト
- TransUPR: A Transformer-based Uncertain Point Refiner for LiDAR Point
Cloud Semantic Segmentation [6.587305905804226]
本稿ではトランスUPR(Transformer-based certain point refiner)を提案する。
我々のTransUPRは最先端のパフォーマンス、すなわちSemantic KITTIベンチマーク上の68.2%のIntersection over Union(mIoU)を達成する。
論文 参考訳(メタデータ) (2023-02-16T21:38:36Z) - Point Cloud Semantic Segmentation using Multi Scale Sparse Convolution
Neural Network [0.0]
本稿では,マルチスケール超スパース畳み込みに基づく特徴抽出モジュールと,チャネルアテンションに基づく特徴選択モジュールを提案する。
マルチスケールのスパース畳み込みを導入することで、ネットワークは異なるサイズの畳み込みカーネルに基づいてよりリッチな特徴情報をキャプチャできる。
論文 参考訳(メタデータ) (2022-05-03T15:01:20Z) - Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR-based
Perception [122.53774221136193]
運転時のLiDARに基づく認識のための最先端の手法は、しばしば点雲を2D空間に投影し、2D畳み込みによって処理する。
自然な対策として、3Dボクセル化と3D畳み込みネットワークを利用する方法がある。
本研究では,3次元幾何学的パターンを探索するために,円筒状分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-12T06:25:11Z) - LatticeNet: Fast Spatio-Temporal Point Cloud Segmentation Using
Permutohedral Lattices [27.048998326468688]
深層畳み込みニューラルネットワーク(CNN)は、画像のセグメンテーションに際し、優れた性能を示している。
本稿では,3次元セマンティックセグメンテーションの新たなアプローチであるLatticeNetを提案する。
本稿では,本手法が最先端性能を実現する複数のデータセット上での3次元セグメント化の結果について述べる。
論文 参考訳(メタデータ) (2021-08-09T10:17:27Z) - EllipsoidNet: Ellipsoid Representation for Point Cloud Classification
and Segmentation [24.36469430784483]
2次元空間における点雲の表現は、2次元空間の局所幾何学的特徴を露呈するため、研究の関心が高まっている。
楕円面空間上に点雲を投影し,局所パターンが楕円面や点レベルでよく露出する新しい2次元表現法を提案する。
EllipsoidNetと呼ばれる新しい畳み込みニューラルネットワークは、これらの特徴を点群分類およびセグメンテーションアプリケーションに活用するために提案されている。
論文 参考訳(メタデータ) (2021-03-03T16:43:08Z) - ParaNet: Deep Regular Representation for 3D Point Clouds [62.81379889095186]
ParaNetは、3Dポイントクラウドを表現するための新しいエンドツーエンドのディープラーニングフレームワークである。
不規則な3D点雲を通常の2Dカラー画像に変換する。
多視点投影とボキセル化に基づく従来の正規表現法とは異なり、提案した表現は微分可能で可逆である。
論文 参考訳(メタデータ) (2020-12-05T13:19:55Z) - Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR
Segmentation [81.02742110604161]
大規模運転シーンのLiDARセグメンテーションのための最先端の手法は、しばしば点雲を2次元空間に投影し、2D畳み込みによって処理する。
そこで我々は,3次元幾何学的パタンを探索するために,円筒分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。
提案手法はセマンティックKITTIのリーダーボードにおいて第1位を獲得し,既存のnuScenesの手法を約4%のマージンで上回っている。
論文 参考訳(メタデータ) (2020-11-19T18:53:11Z) - GRNet: Gridding Residual Network for Dense Point Cloud Completion [54.43648460932248]
完全な3Dポイントクラウドを不完全なクラウドから推定することは、多くのビジョンやロボティクスアプリケーションにおいて重要な問題である。
本稿では,ポイントクラウド補完のための新しいGridding Residual Network(GRNet)を提案する。
実験結果から,提案したGRNetはShapeNet,Completion3D,KITTIベンチマークの最先端手法に対して良好に動作することがわかった。
論文 参考訳(メタデータ) (2020-06-06T02:46:39Z) - Cylindrical Convolutional Networks for Joint Object Detection and
Viewpoint Estimation [76.21696417873311]
3次元空間で定義された畳み込みカーネルの円筒形表現を利用する学習可能なモジュールである円筒型畳み込みネットワーク(CCN)を導入する。
CCNはビュー固有の畳み込みカーネルを通してビュー固有の特徴を抽出し、各視点におけるオブジェクトカテゴリスコアを予測する。
本実験は,円柱状畳み込みネットワークが関節物体の検出と視点推定に与える影響を実証する。
論文 参考訳(メタデータ) (2020-03-25T10:24:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。