論文の概要: Camera-based 3D Semantic Scene Completion with Sparse Guidance Network
- arxiv url: http://arxiv.org/abs/2312.05752v1
- Date: Sun, 10 Dec 2023 04:17:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 19:05:40.260441
- Title: Camera-based 3D Semantic Scene Completion with Sparse Guidance Network
- Title（参考訳）: スパース誘導ネットワークを用いたカメラベース3次元セマンティックシーン補完
- Authors: Jianbiao Mei, Yu Yang, Mengmeng Wang, Junyu Zhu, Xiangrui Zhao,
Jongwon Ra, Laijian Li, Yong Liu
- Abstract要約: セマンティック・シーン・コンプリート (SSC) は, 限られた観察結果から, 3次元シーン全体における各ボクセルのセマンティック・コンプリート(セマンティック・シーン・コンプリート)を予測することを目的としている。
本稿では,SGNと呼ばれるエンドツーエンドカメラベースのSSCフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 20.876048262597255
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Semantic scene completion (SSC) aims to predict the semantic occupancy of
each voxel in the entire 3D scene from limited observations, which is an
emerging and critical task for autonomous driving. Recently, many studies have
turned to camera-based SSC solutions due to the richer visual cues and
cost-effectiveness of cameras. However, existing methods usually rely on
sophisticated and heavy 3D models to directly process the lifted 3D features
that are not discriminative enough for clear segmentation boundaries. In this
paper, we adopt the dense-sparse-dense design and propose an end-to-end
camera-based SSC framework, termed SGN, to diffuse semantics from the semantic-
and occupancy-aware seed voxels to the whole scene based on geometry prior and
occupancy information. By designing hybrid guidance (sparse semantic and
geometry guidance) and effective voxel aggregation for spatial occupancy and
geometry priors, we enhance the feature separation between different categories
and expedite the convergence of semantic diffusion. Extensive experimental
results on the SemanticKITTI dataset demonstrate the superiority of our SGN
over existing state-of-the-art methods.
- Abstract（参考訳）: semantic scene completion (ssc) は、3dシーン全体における各voxelの意味的占有率を限定的な観察から予測することを目的としている。
近年,よりリッチな視覚手がかりとカメラの費用対効果により,カメラベースのsscソリューションが研究されている。
しかし、既存の手法は通常、高度で重い3dモデルを頼りにして、明確なセグメンテーション境界に十分な識別性を持たないリフトされた3d特徴を直接処理する。
そこで,本稿では,sgnと呼ばれるエンドツーエンドカメラベースのsscフレームワークを提案する。sgnは,意味的かつ可食的な種子ボクセルから,幾何学的前後の空間情報に基づいてシーン全体へ意味を拡散する。
空間的占有と幾何学的先行のためのハイブリッドガイダンス(疎意味的および幾何的ガイダンス)と効果的なボクセルアグリゲーションを設計することにより、異なるカテゴリ間の特徴分離を強化し、意味拡散の収束を早める。
SemanticKITTIデータセットの大規模な実験結果は、既存の最先端手法よりもSGNの方が優れていることを示している。
関連論文リスト
- GOI: Find 3D Gaussians of Interest with an Optimizable Open-vocabulary Semantic-space Hyperplane [53.388937705785025]
3Dオープンボキャブラリのシーン理解は、拡張現実とロボット応用の推進に不可欠である。
GOIは2次元視覚言語基礎モデルから3次元ガウススプラッティング(3DGS)に意味的特徴を統合するフレームワークである。
提案手法では,特徴空間内の超平面分割として特徴選択処理を扱い,クエリに関連性の高い特徴のみを保持する。
論文 参考訳（メタデータ） (2024-05-27T18:57:18Z) - DepthSSC: Depth-Spatial Alignment and Dynamic Voxel Resolution for
Monocular 3D Semantic Scene Completion [0.4662017507844857]
DepthSSCはモノクロカメラのみをベースとしたセマンティックシーン補完手法である。
従来の手法で観察された空間的不整合や歪みの問題を緩和する。
複雑な3D構造の詳細をキャプチャーし、最先端のパフォーマンスを実現する効果を実証する。
論文 参考訳（メタデータ） (2023-11-28T01:47:51Z) - SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and
Quasi-Planar Segmentation [53.83313235792596]
本稿では,RGB-Dシーケンスからのリアルタイム意味マッピングのための新しい手法を提案する。
2DニューラルネットワークとSLAMシステムに基づく3Dネットワークと3D占有マッピングを組み合わせる。
本システムは,2D-3Dネットワークベースシステムにおいて,最先端のセマンティックマッピング品質を実現する。
論文 参考訳（メタデータ） (2023-06-28T22:36:44Z) - SSCBench: A Large-Scale 3D Semantic Scene Completion Benchmark for Autonomous Driving [87.8761593366609]
SSCBenchは、広く使用されている自動車データセットのシーンを統合するベンチマークである。
我々は、単眼、三眼、クラウド入力を用いて、性能ギャップを評価するモデルをベンチマークする。
クロスドメインの一般化テストを簡単にするために、さまざまなデータセットにまたがったセマンティックラベルを統一しています。
論文 参考訳（メタデータ） (2023-06-15T09:56:33Z) - GraphCSPN: Geometry-Aware Depth Completion via Dynamic GCNs [49.55919802779889]
本稿では,グラフ畳み込みに基づく空間伝搬ネットワーク(GraphCSPN)を提案する。
本研究では、幾何学的表現学習において、畳み込みニューラルネットワークとグラフニューラルネットワークを相補的に活用する。
提案手法は,数段の伝搬ステップのみを使用する場合と比較して,最先端の性能を実現する。
論文 参考訳（メタデータ） (2022-10-19T17:56:03Z) - S3Net: 3D LiDAR Sparse Semantic Segmentation Network [1.330528227599978]
S3NetはLiDARポイントクラウドセマンティックセグメンテーションのための新しい畳み込みニューラルネットワークである。
sparse intra-channel attention module (sintraam)とsparse inter-channel attention module (sinteram)で構成されるエンコーダ-デコーダバックボーンを採用する。
論文 参考訳（メタデータ） (2021-03-15T22:15:24Z) - S3CNet: A Sparse Semantic Scene Completion Network for LiDAR Point
Clouds [0.16799377888527683]
S3CNetはスパース畳み込みに基づくニューラルネットワークで、単一で統一されたLiDARポイントクラウドからセマンティックに完了したシーンを予測する。
提案手法は,Semantic KITTI ベンチマークを用いて,3次元課題における全ての課題に対して優れることを示す。
論文 参考訳（メタデータ） (2020-12-16T20:14:41Z) - Stereo RGB and Deeper LIDAR Based Network for 3D Object Detection [40.34710686994996]
3Dオブジェクト検出は、自動運転のシナリオにおいて新たな課題となっている。
以前の作業では、プロジェクションベースまたはボクセルベースのモデルを使用して3Dポイントクラウドを処理していた。
本稿では,意味情報と空間情報の同時利用が可能なStereo RGBおよびDeeper LIDARフレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-09T11:19:24Z) - Scan-based Semantic Segmentation of LiDAR Point Clouds: An Experimental
Study [2.6205925938720833]
最先端の手法では、深いニューラルネットワークを使用して、LiDARスキャンの各点のセマンティッククラスを予測する。
LiDAR測定を処理するための強力で効率的な方法は、2次元の画像のような投影を使うことである。
メモリの制約だけでなく、パフォーマンスの向上やランタイムの改善など、さまざまなテクニックを実証する。
論文 参考訳（メタデータ） (2020-04-06T11:08:12Z) - 3D Sketch-aware Semantic Scene Completion via Semi-supervised Structure
Prior [50.73148041205675]
セマンティック・シーン・コンプリート(SSC)タスクの目標は、単一視点で観察することで、ボリューム占有率とシーン内のオブジェクトの意味ラベルの完全な3Dボクセル表現を同時に予測することである。
低解像度のボクセル表現で深度情報を埋め込む新しい幾何学的手法を提案する。
提案手法は,SSCフレームワークからの深度特徴学習よりも有効である。
論文 参考訳（メタデータ） (2020-03-31T09:33:46Z) - Real-Time High-Performance Semantic Image Segmentation of Urban Street
Scenes [98.65457534223539]
都市景観のロバストなセマンティックセマンティックセグメンテーションのためのリアルタイムDCNNに基づく高速DCNN手法を提案する。
提案手法は, 51.0 fps と 39.3 fps の推論速度で, 平均 73.6% と平均 68.0% (mIoU) の精度を実現する。
論文 参考訳（メタデータ） (2020-03-11T08:45:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。