論文の概要: Semantic Segmentation-assisted Scene Completion for LiDAR Point Clouds
- arxiv url: http://arxiv.org/abs/2109.11453v1
- Date: Thu, 23 Sep 2021 15:55:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-24 16:16:11.180444
- Title: Semantic Segmentation-assisted Scene Completion for LiDAR Point Clouds
- Title(参考訳): LiDAR点雲のセマンティックセグメンテーション支援シーン補完
- Authors: Xuemeng Yang, Hao Zou, Xin Kong, Tianxin Huang, Yong Liu, Wanlong Li,
Feng Wen, and Hongbo Zhang
- Abstract要約: 本稿では,エンド・ツー・エンドのセマンティックセグメンテーション支援シーン補完ネットワークを提案する。
ネットワークは生の点クラウドを入力として、セグメンテーションブランチから補完ブランチを階層的にマージする。
提案手法は,低レイテンシでセマンティックKITTIデータセット上での競合性能を実現する。
- 参考スコア(独自算出の注目度): 9.489733900529204
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Outdoor scene completion is a challenging issue in 3D scene understanding,
which plays an important role in intelligent robotics and autonomous driving.
Due to the sparsity of LiDAR acquisition, it is far more complex for 3D scene
completion and semantic segmentation. Since semantic features can provide
constraints and semantic priors for completion tasks, the relationship between
them is worth exploring. Therefore, we propose an end-to-end semantic
segmentation-assisted scene completion network, including a 2D completion
branch and a 3D semantic segmentation branch. Specifically, the network takes a
raw point cloud as input, and merges the features from the segmentation branch
into the completion branch hierarchically to provide semantic information. By
adopting BEV representation and 3D sparse convolution, we can benefit from the
lower operand while maintaining effective expression. Besides, the decoder of
the segmentation branch is used as an auxiliary, which can be discarded in the
inference stage to save computational consumption. Extensive experiments
demonstrate that our method achieves competitive performance on SemanticKITTI
dataset with low latency. Code and models will be released at
https://github.com/jokester-zzz/SSA-SC.
- Abstract(参考訳): 屋外シーンの完成は、3Dシーン理解において難しい問題であり、インテリジェントなロボット工学と自動運転において重要な役割を果たす。
LiDARの買収の幅が広いため、3Dシーンの完了とセマンティックセグメンテーションははるかに複雑である。
セマンティクス機能は完了タスクに制約やセマンティクス優先を提供するため、それらの関係を探求する価値がある。
そこで本稿では,2次元完了ブランチと3次元意味セグメンテーションブランチを含む,エンド・ツー・エンド意味セグメンテーション支援シーン補完ネットワークを提案する。
具体的には、ネットワークは生のポイントクラウドを入力として、セグメンテーションブランチの機能を階層的に補完ブランチにマージして意味情報を提供する。
BEV表現と3次元スパース畳み込みを併用することにより,効率的な表現を維持しつつ下肢の便益を享受できる。
また、セグメンテーションブランチのデコーダを補助として使用し、計算消費を節約するために推論段階で破棄することができる。
本手法は,低レイテンシでSemanticKITTIデータセット上での競合性能を実現する。
コードとモデルはhttps://github.com/jokester-zzz/ssa-scでリリースされる。
関連論文リスト
- PointSSC: A Cooperative Vehicle-Infrastructure Point Cloud Benchmark for
Semantic Scene Completion [4.564209472726044]
Semantic Scene Completionは、複雑な3Dシーンのための空間占有とセマンティックラベルを共同で生成することを目的としている。
PointSSCは、セマンティックシーン補完のための最初の協調的な車両とインフラのポイントクラウドベンチマークである。
論文 参考訳(メタデータ) (2023-09-22T08:39:16Z) - A Threefold Review on Deep Semantic Segmentation: Efficiency-oriented,
Temporal and Depth-aware design [77.34726150561087]
我々は、自動運転車のビジョンの文脈において、Deep Semanticの最も関連性があり最近の進歩について調査を行う。
私たちの主な目的は、それぞれの視点で直面している主要な方法、利点、制限、結果、課題に関する包括的な議論を提供することです。
論文 参考訳(メタデータ) (2023-03-08T01:29:55Z) - ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。
中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。
直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
論文 参考訳(メタデータ) (2022-12-12T13:10:19Z) - SemSegDepth: A Combined Model for Semantic Segmentation and Depth
Completion [18.19171031755595]
セマンティックセグメンテーションと深度補完を共同で行うための新しいエンド・ツー・エンドモデルを提案する。
提案手法はモデルへの入力としてRGBとスパース深度に依存し,深度マップとそれに対応するセマンティックセグメンテーション画像を生成する。
Virtual KITTI 2データセットで実施された実験は、セマンティックセグメンテーションとディープコンプリートの両方のタスクをマルチタスクネットワークで組み合わせることで、各タスクのパフォーマンスを効果的に改善できるという、さらなるエビデンスを実証し、提供する。
論文 参考訳(メタデータ) (2022-09-01T11:52:11Z) - Dense Supervision Propagation for Weakly Supervised Semantic
Segmentation on 3D Point Clouds [54.12402068922005]
意味点クラウドセグメンテーションネットワークをトレーニングする。
同様の特徴を伝達し、2つのサンプルにまたがる勾配を再現するクロスサンプル機能再配置モジュールを提案する。
ラベルの10%と1%しか持たない弱教師付き手法では、完全教師付き手法と互換性のある結果が得られる。
論文 参考訳(メタデータ) (2021-07-23T14:34:57Z) - Semantic Scene Completion via Integrating Instances and Scene
in-the-Loop [73.11401855935726]
Semantic Scene Completionは、単一の視野深度またはRGBD画像から正確なボキセルワイズセマンティクスで完全な3Dシーンを再構築することを目指しています。
本稿では、シーンレベルのセマンティクス情報とインスタンスレベルのセマンティクス情報の両方を利用するScene-Instance-Scene Network(textitSISNet)を提案する。
本手法は, セマンティックなカテゴリが容易に混在している近傍のオブジェクトと同様に, きめ細かい形状の細部を推定できる。
論文 参考訳(メタデータ) (2021-04-08T09:50:30Z) - S3Net: 3D LiDAR Sparse Semantic Segmentation Network [1.330528227599978]
S3NetはLiDARポイントクラウドセマンティックセグメンテーションのための新しい畳み込みニューラルネットワークである。
sparse intra-channel attention module (sintraam)とsparse inter-channel attention module (sinteram)で構成されるエンコーダ-デコーダバックボーンを採用する。
論文 参考訳(メタデータ) (2021-03-15T22:15:24Z) - (AF)2-S3Net: Attentive Feature Fusion with Adaptive Feature Selection
for Sparse Semantic Segmentation Network [3.6967381030744515]
3次元LiDARセマンティックセマンティックセグメンテーションのためのエンコーダ-デコーダCNNネットワークであるAF2-S3Netを提案する。
本稿では、エンコーダに新しいマルチブランチ注意機能融合モジュール、デコーダに特徴マップを再重み付けしたユニークな適応機能選択モジュールを提案する。
実験の結果,提案手法は大規模セマンティックKITTIベンチマークにおける最先端手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2021-02-08T21:04:21Z) - S3CNet: A Sparse Semantic Scene Completion Network for LiDAR Point
Clouds [0.16799377888527683]
S3CNetはスパース畳み込みに基づくニューラルネットワークで、単一で統一されたLiDARポイントクラウドからセマンティックに完了したシーンを予測する。
提案手法は,Semantic KITTI ベンチマークを用いて,3次元課題における全ての課題に対して優れることを示す。
論文 参考訳(メタデータ) (2020-12-16T20:14:41Z) - Improving Point Cloud Semantic Segmentation by Learning 3D Object
Detection [102.62963605429508]
ポイントクラウドセマンティックセグメンテーションは、自動運転において重要な役割を果たす。
現在の3Dセマンティックセグメンテーションネットワークは、よく表現されたクラスに対して優れた性能を発揮する畳み込みアーキテクチャに焦点を当てている。
Aware 3D Semantic Detection (DASS) フレームワークを提案する。
論文 参考訳(メタデータ) (2020-09-22T14:17:40Z) - Depth Based Semantic Scene Completion with Position Importance Aware
Loss [52.06051681324545]
PALNetはセマンティックシーン補完のための新しいハイブリッドネットワークである。
詳細な深度情報を用いて,多段階から2次元特徴と3次元特徴の両方を抽出する。
オブジェクトのバウンダリやシーンの隅といった重要な詳細を復元することは有益である。
論文 参考訳(メタデータ) (2020-01-29T07:05:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。