論文の概要: S3CNet: A Sparse Semantic Scene Completion Network for LiDAR Point Clouds

• arxiv url: http://arxiv.org/abs/2012.09242v1
• Date: Wed, 16 Dec 2020 20:14:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-03 07:01:30.258194
• Title: S3CNet: A Sparse Semantic Scene Completion Network for LiDAR Point Clouds
• Title（参考訳）: S3CNet:LiDARポイントクラウドのためのスパースセマンティックシーンコンプリートネットワーク
• Authors: Ran Cheng, Christopher Agia, Yuan Ren, Xinhai Li, Liu Bingbing
• Abstract要約: S3CNetはスパース畳み込みに基づくニューラルネットワークで、単一で統一されたLiDARポイントクラウドからセマンティックに完了したシーンを予測する。 提案手法は,Semantic KITTI ベンチマークを用いて,3次元課題における全ての課題に対して優れることを示す。
• 参考スコア（独自算出の注目度）: 0.16799377888527683
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the increasing reliance of self-driving and similar robotic systems on robust 3D vision, the processing of LiDAR scans with deep convolutional neural networks has become a trend in academia and industry alike. Prior attempts on the challenging Semantic Scene Completion task - which entails the inference of dense 3D structure and associated semantic labels from "sparse" representations - have been, to a degree, successful in small indoor scenes when provided with dense point clouds or dense depth maps often fused with semantic segmentation maps from RGB images. However, the performance of these systems drop drastically when applied to large outdoor scenes characterized by dynamic and exponentially sparser conditions. Likewise, processing of the entire sparse volume becomes infeasible due to memory limitations and workarounds introduce computational inefficiency as practitioners are forced to divide the overall volume into multiple equal segments and infer on each individually, rendering real-time performance impossible. In this work, we formulate a method that subsumes the sparsity of large-scale environments and present S3CNet, a sparse convolution based neural network that predicts the semantically completed scene from a single, unified LiDAR point cloud. We show that our proposed method outperforms all counterparts on the 3D task, achieving state-of-the art results on the SemanticKITTI benchmark. Furthermore, we propose a 2D variant of S3CNet with a multi-view fusion strategy to complement our 3D network, providing robustness to occlusions and extreme sparsity in distant regions. We conduct experiments for the 2D semantic scene completion task and compare the results of our sparse 2D network against several leading LiDAR segmentation models adapted for bird's eye view segmentation on two open-source datasets.
• Abstract（参考訳）: 自動運転車や類似のロボットシステムが堅牢な3Dビジョンに依存しているため、深い畳み込みニューラルネットワークによるLiDARスキャンの処理は、アカデミックや産業でもトレンドになっている。 密集した3d構造と関連する意味ラベルを「スパース」表現から推論する、難易度の高いセマンティックシーン補完タスクの以前の試みは、密集点雲や密集深度マップがrgb画像からのセマンティックセグメンテーションマップと融合する場合に、ある程度屋内の小さなシーンでうまくいった。 しかし, 動的かつ指数関数的にスパルサー条件を特徴とする大規模屋外シーンに適用すると, これらのシステムの性能は大幅に低下する。 同様に、sparseボリューム全体の処理はメモリの制限や回避策によって実現不可能となり、全体的なボリュームを複数の等しいセグメントに分割し、個別に推測せざるを得なくなり、リアルタイムパフォーマンスが不可能になるため、計算効率が低下する。 本研究では,大規模環境の疎結合性を仮定した手法を定式化し,単一のlidar点クラウドから意味的に完結したシーンを予測する疎畳み型ニューラルネットワークs3cnetを提案する。 提案手法は,SemanticKITTIベンチマークを用いて,3次元課題における全ての課題に優れることを示す。 さらに,3次元ネットワークを補完する多視点融合戦略を備えたS3CNetの2次元変種を提案する。 2Dセマンティックシーン完了タスクの実験を行い、2つのオープンソースデータセット上での鳥の目視分割に適応したいくつかの主要なLiDARセグメンテーションモデルと比較した。

関連論文リスト

• Dynamic 3D Point Cloud Sequences as 2D Videos [81.46246338686478]
  3Dポイントクラウドシーケンスは、現実世界の環境における最も一般的で実用的な表現の1つとして機能する。 textitStructured Point Cloud Videos (SPCV) と呼ばれる新しい汎用表現を提案する。 SPCVは点雲列を空間的滑らかさと時間的一貫性を持つ2Dビデオとして再編成し、画素値は点の3D座標に対応する。
  論文  参考訳（メタデータ） (2024-03-02T08:18:57Z)
• ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic Reconstruction [62.599588577671796]
  本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。 オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
  論文  参考訳（メタデータ） (2023-11-29T20:30:18Z)
• DatasetNeRF: Efficient 3D-aware Data Factory with Generative Radiance Fields [68.94868475824575]
  本稿では,無限で高品質な3Dアノテーションを3Dポイントクラウドセグメンテーションとともに生成できる新しいアプローチを提案する。 我々は3次元生成モデルに先立って強力なセマンティクスを活用してセマンティクスデコーダを訓練する。 トレーニングが完了すると、デコーダは遅延空間を効率よく一般化し、無限のデータの生成を可能にする。
  論文  参考訳（メタデータ） (2023-11-18T21:58:28Z)
• Leveraging Large-Scale Pretrained Vision Foundation Models for Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
  本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。 我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。 本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:41:15Z)
• Towards Label-free Scene Understanding by Vision Foundation Models [87.13117617056004]
  ネットワークがラベル付きデータなしで2Dおよび3D世界を理解できるようにするためのビジョン基盤モデルの可能性について検討する。 本稿では,CLIPとSAMの強度を利用して2次元ネットワークと3次元ネットワークを同時に監視するクロスモダリティ・ノイズ・スーパービジョン(CNS)手法を提案する。 我々の2Dネットワークと3Dネットワークは、ScanNet上で28.4%と33.5%のmIoUでラベルなしセマンティックセグメンテーションを実現し、それぞれ4.7%と7.9%を改善した。
  論文  参考訳（メタデータ） (2023-06-06T17:57:49Z)
• Putting 3D Spatially Sparse Networks on a Diet [21.881294733075393]
  本稿では, セマンティックセグメンテーションとインスタンスセグメンテーションのためのコンパクトで空間的にスパースな3Dコンブネット(WS3-ConvNet)を提案する。 我々は、コンパクトネットワークを見つけるために、様々なネットワークプルーニング戦略を採用し、我々のWS3-ConvNetが、最小限の性能損失(2-15%の低下)を、15%少ないパラメータ(1/100の圧縮率)で達成することを示す。 最後に、WS3-ConvNetの圧縮パターンを体系的に解析し、圧縮されたネットワークに共通する興味深いスパシティパターンを示し、推論をさらに高速化する。
  論文  参考訳（メタデータ） (2021-12-02T15:20:15Z)
• Data Augmented 3D Semantic Scene Completion with 2D Segmentation Priors [1.0973642726108543]
  本稿では,新しいマルチモーダル3DディープCNNであるSPAwNを紹介する。 この分野で重要な課題は、完全にラベル付けされた現実世界の3Dデータセットがないことである。 本稿では,マルチモーダルSCネットワークに適用可能な3次元データ拡張戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-26T04:08:34Z)
• Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR-based Perception [122.53774221136193]
  運転時のLiDARに基づく認識のための最先端の手法は、しばしば点雲を2D空間に投影し、2D畳み込みによって処理する。 自然な対策として、3Dボクセル化と3D畳み込みネットワークを利用する方法がある。 本研究では,3次元幾何学的パターンを探索するために,円筒状分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-12T06:25:11Z)
• S3Net: 3D LiDAR Sparse Semantic Segmentation Network [1.330528227599978]
  S3NetはLiDARポイントクラウドセマンティックセグメンテーションのための新しい畳み込みニューラルネットワークである。 sparse intra-channel attention module (sintraam)とsparse inter-channel attention module (sinteram)で構成されるエンコーダ-デコーダバックボーンを採用する。
  論文  参考訳（メタデータ） (2021-03-15T22:15:24Z)
• Weakly Supervised Semantic Segmentation in 3D Graph-Structured Point Clouds of Wild Scenes [36.07733308424772]
  3Dセグメンテーションラベルの欠如は、効率的な点雲セグメンテーションの主な障害の1つである。 本稿では,2D のみを監督する点群における大規模セマンティックシーンセグメンテーションのための,新しいディープグラフ畳み込みネットワークフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-26T23:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。