論文の概要: LISNeRF Mapping: LiDAR-based Implicit Mapping via Semantic Neural Fields
for Large-Scale 3D Scenes
- arxiv url: http://arxiv.org/abs/2311.02313v1
- Date: Sat, 4 Nov 2023 03:55:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 18:22:05.744965
- Title: LISNeRF Mapping: LiDAR-based Implicit Mapping via Semantic Neural Fields
for Large-Scale 3D Scenes
- Title(参考訳): LISNeRFマッピング:大規模3次元シーンのための意味的ニューラルネットワークによるLiDARに基づくインシシットマッピング
- Authors: Jianyuan Zhang and Zhiliu Yang
- Abstract要約: 大規模セマンティックマッピングは、屋外の自律エージェントが計画やナビゲーションといった高度なタスクを遂行するために不可欠である。
本稿では,LiDAR測定のみでの暗黙的表現による大規模3次元意味再構築手法を提案する。
- 参考スコア(独自算出の注目度): 0.14504054468850663
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale semantic mapping is crucial for outdoor autonomous agents to
fulfill high-level tasks such as planning and navigation. This paper proposes a
novel method for large-scale 3D semantic reconstruction through implicit
representations from LiDAR measurements alone. We firstly leverages an
octree-based and hierarchical structure to store implicit features, then these
implicit features are decoded to semantic information and signed distance value
through shallow Multilayer Perceptrons (MLPs). We adopt off-the-shelf
algorithms to predict the semantic labels and instance IDs of point cloud. Then
we jointly optimize the implicit features and MLPs parameters with
self-supervision paradigm for point cloud geometry and pseudo-supervision
pradigm for semantic and panoptic labels. Subsequently, Marching Cubes
algorithm is exploited to subdivide and visualize the scenes in the inferring
stage. For scenarios with memory constraints, a map stitching strategy is also
developed to merge sub-maps into a complete map. As far as we know, our method
is the first work to reconstruct semantic implicit scenes from LiDAR-only
input. Experiments on three real-world datasets, SemanticKITTI, SemanticPOSS
and nuScenes, demonstrate the effectiveness and efficiency of our framework
compared to current state-of-the-art 3D mapping methods.
- Abstract(参考訳): 大規模セマンティックマッピングは、屋外の自律エージェントが計画やナビゲーションといった高度なタスクを遂行するために不可欠である。
本稿では,LiDAR測定のみでの暗黙的表現による大規模3次元意味再構築手法を提案する。
まず,暗黙的特徴を格納するために,オクツリーをベースとした階層構造を利用し,その暗黙的特徴を,浅層パーセプトロン(MLP)を介して意味情報と符号付き距離値にデコードする。
市販のアルゴリズムを用いて,ポイントクラウドの意味ラベルとインスタンスidを予測する。
次に,暗黙的特徴とMDPパラメータを,点雲幾何学の自己超越パラダイムと意味的および汎光学的ラベルの擬似超越パラダイムとで最適化する。
その後、マーチングキューブアルゴリズムを用いて推論段階のシーンを分割して視覚化する。
メモリ制約のあるシナリオでは、サブマップを完全なマップにマージするmap stitchingストラテジーも開発されている。
我々が知る限り、この手法はLiDARのみの入力から意味的な暗黙のシーンを再構築する最初の試みである。
実世界の3つのデータセット、SemanticKITTI, SemanticPOSS, nuScenesの実験は、現在の最先端3Dマッピング手法と比較して、我々のフレームワークの有効性と効率を実証している。
関連論文リスト
- Representing 3D sparse map points and lines for camera relocalization [1.2974519529978974]
軽量ニューラルネットワークが3Dポイントとラインの両方の特徴を表現するためにどのように学習できるかを示す。
テストにおいて,本手法は,最先端の学習手法に対する最も顕著な向上を図っている。
論文 参考訳(メタデータ) (2024-02-28T03:07:05Z) - Volumetric Semantically Consistent 3D Panoptic Mapping [84.2638617094967]
非構造環境における自律エージェントに適したセマンティック3Dマップを生成することを目的としたオンライン2次元から3次元のセマンティック・インスタンスマッピングアルゴリズムを提案する。
マッピング中にセマンティック予測の信頼性を統合し、セマンティックおよびインスタンス一貫性のある3D領域を生成する新しい方法を導入する。
提案手法は,パブリックな大規模データセット上での最先端の精度を実現し,多くの広く使用されているメトリクスを改善した。
論文 参考訳(メタデータ) (2023-09-26T08:03:10Z) - Neural Semantic Surface Maps [52.61017226479506]
本稿では,2つの属とゼロの形状の地図を自動計算する手法を提案する。
提案手法は,手動のアノテーションや3Dトレーニングデータ要求を排除し,意味的表面-表面マップを生成する。
論文 参考訳(メタデータ) (2023-09-09T16:21:56Z) - PointOcc: Cylindrical Tri-Perspective View for Point-based 3D Semantic
Occupancy Prediction [72.75478398447396]
本稿では,点雲を効果的かつ包括的に表現する円筒型三重対視図を提案する。
また,LiDAR点雲の距離分布を考慮し,円筒座標系における三点ビューを構築した。
プロジェクション中に構造の詳細を維持するために空間群プーリングを使用し、各TPV平面を効率的に処理するために2次元バックボーンを採用する。
論文 参考訳(メタデータ) (2023-08-31T17:57:17Z) - Navya3DSeg -- Navya 3D Semantic Segmentation Dataset & split generation
for autonomous vehicles [63.20765930558542]
3Dセマンティックデータは、障害物検出やエゴ-車両の局所化といった中核的な認識タスクに有用である。
そこで我々は,大規模生産段階の運用領域に対応する多様なラベル空間を持つ新しいデータセットであるNavala 3D(Navya3DSeg)を提案する。
ラベルのない23のラベル付きシーケンスと25の補足シーケンスが含まれており、ポイントクラウド上の自己教師付きおよび半教師付きセマンティックセマンティックセグメンテーションベンチマークを探索するために設計された。
論文 参考訳(メタデータ) (2023-02-16T13:41:19Z) - SHINE-Mapping: Large-Scale 3D Mapping Using Sparse Hierarchical Implicit
Neural Representations [37.733802382489515]
本稿では, 3次元LiDAR計測を用いて, 暗示表現を用いた大規模3次元再構成を実現する際の課題について述べる。
我々はオクツリーに基づく階層構造を通じて暗黙的な特徴を学習し、保存する。
我々の3D再構成は、現在の最先端3Dマッピング法よりも正確で、完全で、メモリ効率が高いことを示す。
論文 参考訳(メタデータ) (2022-10-05T14:38:49Z) - Improving Lidar-Based Semantic Segmentation of Top-View Grid Maps by
Learning Features in Complementary Representations [3.0413873719021995]
我々は、自律運転の文脈において、スパースで単発のLiDAR測定から意味情報を予測するための新しい方法を提案する。
このアプローチは、トップビューグリッドマップのセマンティックセグメンテーションを改善することを目的としている。
各表現に対して、セマンティック情報を効果的に抽出するために、調整されたディープラーニングアーキテクチャが開発された。
論文 参考訳(メタデータ) (2022-03-02T14:49:51Z) - Box2Seg: Learning Semantics of 3D Point Clouds with Box-Level
Supervision [65.19589997822155]
我々は3Dポイントクラウドのポイントレベルのセマンティクスをバウンディングボックスレベルの監視で学習するために,Box2Segと呼ばれるニューラルアーキテクチャを導入する。
提案するネットワークは,安価な,あるいは既定のバウンディングボックスレベルのアノテーションやサブクラウドレベルのタグでトレーニング可能であることを示す。
論文 参考訳(メタデータ) (2022-01-09T09:07:48Z) - S3Net: 3D LiDAR Sparse Semantic Segmentation Network [1.330528227599978]
S3NetはLiDARポイントクラウドセマンティックセグメンテーションのための新しい畳み込みニューラルネットワークである。
sparse intra-channel attention module (sintraam)とsparse inter-channel attention module (sinteram)で構成されるエンコーダ-デコーダバックボーンを採用する。
論文 参考訳(メタデータ) (2021-03-15T22:15:24Z) - 3D Sketch-aware Semantic Scene Completion via Semi-supervised Structure
Prior [50.73148041205675]
セマンティック・シーン・コンプリート(SSC)タスクの目標は、単一視点で観察することで、ボリューム占有率とシーン内のオブジェクトの意味ラベルの完全な3Dボクセル表現を同時に予測することである。
低解像度のボクセル表現で深度情報を埋め込む新しい幾何学的手法を提案する。
提案手法は,SSCフレームワークからの深度特徴学習よりも有効である。
論文 参考訳(メタデータ) (2020-03-31T09:33:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。