論文の概要: LISNeRF Mapping: LiDAR-based Implicit Mapping via Semantic Neural Fields for Large-Scale 3D Scenes
- arxiv url: http://arxiv.org/abs/2311.02313v2
- Date: Wed, 20 Mar 2024 04:45:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 22:27:37.253946
- Title: LISNeRF Mapping: LiDAR-based Implicit Mapping via Semantic Neural Fields for Large-Scale 3D Scenes
- Title（参考訳）: LISNeRFマッピング:大規模3次元シーンのための意味的ニューラルネットワークによるLiDARに基づくインシシットマッピング
- Authors: Jianyuan Zhang, Zhiliu Yang, Meng Zhang,
- Abstract要約: 大規模セマンティックマッピングは、屋外の自律エージェントが計画やナビゲーションといった高度なタスクを遂行するために不可欠である。
本稿では,提案するLiDAR測度のみでの暗黙的表現による大規模3次元意味再構築手法を提案する。
- 参考スコア（独自算出の注目度）: 2.822816116516042
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale semantic mapping is crucial for outdoor autonomous agents to fulfill high-level tasks such as planning and navigation. This paper proposes a novel method for large-scale 3D semantic reconstruction through implicit representations from posed LiDAR measurements alone. We first leverage an octree-based and hierarchical structure to store implicit features, then these implicit features are decoded to semantic information and signed distance value through shallow Multilayer Perceptrons (MLPs). We adopt off-the-shelf algorithms to predict the semantic labels and instance IDs of point clouds. We then jointly optimize the feature embeddings and MLPs parameters with a self-supervision paradigm for point cloud geometry and a pseudo-supervision paradigm for semantic and panoptic labels. Subsequently, categories and geometric structures for novel points are regressed, and marching cubes are exploited to subdivide and visualize the scenes in the inferring stage. For scenarios with memory constraints, a map stitching strategy is also developed to merge sub-maps into a complete map. Experiments on two real-world datasets, SemanticKITTI and SemanticPOSS, demonstrate the superior segmentation efficiency and mapping effectiveness of our framework compared to current state-of-the-art 3D LiDAR mapping methods.
- Abstract（参考訳）: 大規模セマンティックマッピングは、屋外の自律エージェントが計画やナビゲーションといった高度なタスクを遂行するために不可欠である。
本稿では,提案するLiDAR測度のみでの暗黙的表現による大規模3次元意味再構築手法を提案する。
まず,暗黙的特徴を格納するためにオクツリーをベースとした階層構造を利用し,その暗黙的特徴を浅層パーセプトロン(MLP)を介して意味情報と符号付き距離値にデコードする。
我々は、ポイントクラウドのセマンティックラベルとインスタンスIDを予測するために、オフザシェルフアルゴリズムを採用する。
次に,特徴埋め込みとMDPパラメータを,点雲幾何学の自己超越パラダイムと意味的および汎光学的ラベルの擬超越パラダイムと組み合わせて最適化する。
その後、新規点のカテゴリや幾何学構造を回帰させ、マーチングキューブを利用して推論段階のシーンを分割、視覚化する。
メモリ制約のあるシナリオに対しては、サブマップを完全なマップにマージするマップステッチ戦略も開発されている。
実世界の2つのデータセットであるSemanticKITTIとSemanticPOSSの実験は、現在の最先端3D LiDARマッピング法と比較して、我々のフレームワークのセグメンテーション効率とマッピング効率が優れていることを示した。
関連論文リスト
- Open-Vocabulary Octree-Graph for 3D Scene Understanding [54.11828083068082]
Octree-Graphはオープンな3Dシーン理解のための新しいシーン表現である。
セマンティクスを記憶し、その形状に応じてオブジェクトの占有度を調節するアダプティブ・オクツリー構造を開発する。
論文 参考訳（メタデータ） (2024-11-25T10:14:10Z) - Representing 3D sparse map points and lines for camera relocalization [1.2974519529978974]
軽量ニューラルネットワークが3Dポイントとラインの両方の特徴を表現するためにどのように学習できるかを示す。
テストにおいて,本手法は,最先端の学習手法に対する最も顕著な向上を図っている。
論文 参考訳（メタデータ） (2024-02-28T03:07:05Z) - A Data-efficient Framework for Robotics Large-scale LiDAR Scene Parsing [10.497309421830671]
既存の最先端の3Dポイントクラウド理解手法は、完全に教師された方法でのみうまく機能する。
この研究は、ラベルが制限されているときのポイントクラウドを理解するための、汎用的でシンプルなフレームワークを提示している。
論文 参考訳（メタデータ） (2023-12-03T02:38:51Z) - Volumetric Semantically Consistent 3D Panoptic Mapping [77.13446499924977]
非構造環境における自律エージェントに適したセマンティック3Dマップを生成することを目的としたオンライン2次元から3次元のセマンティック・インスタンスマッピングアルゴリズムを提案する。
マッピング中にセマンティック予測の信頼性を統合し、セマンティックおよびインスタンス一貫性のある3D領域を生成する新しい方法を導入する。
提案手法は,パブリックな大規模データセット上での最先端の精度を実現し,多くの広く使用されているメトリクスを改善した。
論文 参考訳（メタデータ） (2023-09-26T08:03:10Z) - Neural Semantic Surface Maps [52.61017226479506]
本稿では,2つの属とゼロの形状の地図を自動計算する手法を提案する。
提案手法は,手動のアノテーションや3Dトレーニングデータ要求を排除し,意味的表面-表面マップを生成する。
論文 参考訳（メタデータ） (2023-09-09T16:21:56Z) - Deep Semantic Graph Matching for Large-scale Outdoor Point Clouds
Registration [22.308070598885532]
我々は、ポイントクラウド登録問題をセマンティックインスタンスマッチングと登録タスクとして扱う。
大規模屋外クラウド登録のためのディープセマンティックグラフマッチング法(DeepSGM)を提案する。
KITTIオドメトリデータセットで行った実験結果から,提案手法が登録性能を向上させることが示された。
論文 参考訳（メタデータ） (2023-08-10T03:07:28Z) - Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud
Analysis [66.49788145564004]
我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。
我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
論文 参考訳（メタデータ） (2022-12-17T15:05:25Z) - Improving Lidar-Based Semantic Segmentation of Top-View Grid Maps by
Learning Features in Complementary Representations [3.0413873719021995]
我々は、自律運転の文脈において、スパースで単発のLiDAR測定から意味情報を予測するための新しい方法を提案する。
このアプローチは、トップビューグリッドマップのセマンティックセグメンテーションを改善することを目的としている。
各表現に対して、セマンティック情報を効果的に抽出するために、調整されたディープラーニングアーキテクチャが開発された。
論文 参考訳（メタデータ） (2022-03-02T14:49:51Z) - Box2Seg: Learning Semantics of 3D Point Clouds with Box-Level
Supervision [65.19589997822155]
我々は3Dポイントクラウドのポイントレベルのセマンティクスをバウンディングボックスレベルの監視で学習するために,Box2Segと呼ばれるニューラルアーキテクチャを導入する。
提案するネットワークは,安価な,あるいは既定のバウンディングボックスレベルのアノテーションやサブクラウドレベルのタグでトレーニング可能であることを示す。
論文 参考訳（メタデータ） (2022-01-09T09:07:48Z) - Campus3D: A Photogrammetry Point Cloud Benchmark for Hierarchical
Understanding of Outdoor Scene [76.4183572058063]
複数の屋外シーン理解タスクに対して,リッチな注釈付き3Dポイントクラウドデータセットを提案する。
データセットは階層型ラベルとインスタンスベースのラベルの両方でポイントワイズアノテートされている。
本稿では,3次元点雲分割のための階層的学習問題を定式化し,様々な階層間の整合性を評価することを提案する。
論文 参考訳（メタデータ） (2020-08-11T19:10:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。