Fugu-MT 論文翻訳(概要): NIS-SLAM: Neural Implicit Semantic RGB-D SLAM for 3D Consistent Scene Understanding

論文の概要: NIS-SLAM: Neural Implicit Semantic RGB-D SLAM for 3D Consistent Scene Understanding

arxiv url: http://arxiv.org/abs/2407.20853v1
Date: Tue, 30 Jul 2024 14:27:59 GMT
ステータス: 処理完了
システム内更新日: 2024-07-31 17:00:05.473292
Title: NIS-SLAM: Neural Implicit Semantic RGB-D SLAM for 3D Consistent Scene Understanding
Title（参考訳）: NIS-SLAM:3次元連続場面理解のためのニューラルインプシトリ・セマンティックRGB-D SLAM
Authors: Hongjia Zhai, Gan Huang, Qirui Hu, Guanglin Li, Hujun Bao, Guofeng Zhang,
Abstract要約: NIS-SLAMは,高効率な暗黙的意味論的RGB-D SLAMシステムである。高忠実な表面再構成と空間的一貫したシーン理解のために、我々は高周波多分解能テトラヘドロンに基づく特徴を組み合わせた。また、我々のアプローチが拡張現実のアプリケーションに応用可能であることも示している。
参考スコア（独自算出の注目度）: 31.56016043635702
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In recent years, the paradigm of neural implicit representations has gained substantial attention in the field of Simultaneous Localization and Mapping (SLAM). However, a notable gap exists in the existing approaches when it comes to scene understanding. In this paper, we introduce NIS-SLAM, an efficient neural implicit semantic RGB-D SLAM system, that leverages a pre-trained 2D segmentation network to learn consistent semantic representations. Specifically, for high-fidelity surface reconstruction and spatial consistent scene understanding, we combine high-frequency multi-resolution tetrahedron-based features and low-frequency positional encoding as the implicit scene representations. Besides, to address the inconsistency of 2D segmentation results from multiple views, we propose a fusion strategy that integrates the semantic probabilities from previous non-keyframes into keyframes to achieve consistent semantic learning. Furthermore, we implement a confidence-based pixel sampling and progressive optimization weight function for robust camera tracking. Extensive experimental results on various datasets show the better or more competitive performance of our system when compared to other existing neural dense implicit RGB-D SLAM approaches. Finally, we also show that our approach can be used in augmented reality applications. Project page: \href{https://zju3dv.github.io/nis_slam}{https://zju3dv.github.io/nis\_slam}.
Abstract（参考訳）: 近年、神経暗黙表現のパラダイムは、同時局在マッピング(SLAM)の分野で大きな注目を集めている。しかし、シーン理解に関しては、既存のアプローチには顕著なギャップがある。本稿では,学習済みの2次元セグメンテーションネットワークを利用して,一貫した意味表現を学習する,効率的なニューラル暗黙的意味論的RGB-D SLAMシステムであるNIS-SLAMを紹介する。具体的には、高忠実な表面再構成と空間的一貫したシーン理解のために、暗黙的なシーン表現として、高周波多分解能テトラヘドロンに基づく特徴と低周波位置符号化を組み合わせる。さらに,複数の視点から得られた2次元セグメンテーション結果の不整合に対処するために,従来のキーフレームからキーフレームへのセグメンテーション確率を統合し,一貫したセグメンテーション学習を実現する融合戦略を提案する。さらに,ロバストカメラトラッキングのための信頼度に基づく画素サンプリングとプログレッシブ最適化重み関数を実装した。様々なデータセットに対する大規模な実験結果から,既存のニューラルネットワークの暗黙的RGB-D SLAMアプローチと比較して,システムの性能は向上した。最後に、我々のアプローチが拡張現実アプリケーションに応用可能であることも示します。プロジェクトページ: \href{https://zju3dv.github.io/nis_slam}{https://zju3dv.github.io/nis\_slam}

関連論文リスト

NEDS-SLAM: A Neural Explicit Dense Semantic SLAM Framework using 3D Gaussian Splatting [5.655341825527482]
NEDS-SLAMは3次元ガウス表現に基づく意味論的SLAMシステムである。本研究では,事前学習したセグメンテーションヘッドからの誤推定の影響を低減するために,空間的に一貫性のある特徴融合モデルを提案する。我々は,高次元意味的特徴をコンパクトな3次元ガウス表現に圧縮するために,軽量エンコーダデコーダを用いる。
論文参考訳（メタデータ） (2024-03-18T11:31:03Z)
Leveraging Neural Radiance Field in Descriptor Synthesis for Keypoints Scene Coordinate Regression [1.2974519529978974]
本稿では,Neural Radiance Field (NeRF) を用いたキーポイント記述子合成のためのパイプラインを提案する。新たなポーズを生成してトレーニングされたNeRFモデルに入力して新しいビューを生成することで、当社のアプローチは、データスカース環境でのKSCRの機能を強化します。提案システムは,最大50%のローカライズ精度向上を実現し,データ合成に要するコストをわずかに抑えることができた。
論文参考訳（メタデータ） (2024-03-15T13:40:37Z)
DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
論文参考訳（メタデータ） (2023-11-30T21:34:44Z)
GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文参考訳（メタデータ） (2023-11-20T12:08:23Z)
SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and Quasi-Planar Segmentation [53.83313235792596]
本稿では,RGB-Dシーケンスからのリアルタイム意味マッピングのための新しい手法を提案する。 2DニューラルネットワークとSLAMシステムに基づく3Dネットワークと3D占有マッピングを組み合わせる。本システムは,2D-3Dネットワークベースシステムにおいて,最先端のセマンティックマッピング品質を実現する。
論文参考訳（メタデータ） (2023-06-28T22:36:44Z)
UncLe-SLAM: Uncertainty Learning for Dense Neural SLAM [60.575435353047304]
我々は、高密度ニューラルネットワークの同時局所化とマッピング(SLAM)のための不確実性学習フレームワークを提案する。本稿では,2次元入力データのみから自己教師付きで学習可能なセンサ不確実性推定のためのオンラインフレームワークを提案する。
論文参考訳（メタデータ） (2023-06-19T16:26:25Z)
Point-SLAM: Dense Neural Point Cloud-based SLAM [61.96492935210654]
本稿では,モノクラーRGBD入力に対する高密度ニューラルネットワークの局所化とマッピング(SLAM)手法を提案する。トラッキングとマッピングの両方が、同じポイントベースのニューラルシーン表現で実行可能であることを実証する。
論文参考訳（メタデータ） (2023-04-09T16:48:26Z)
NICER-SLAM: Neural Implicit Scene Encoding for RGB SLAM [111.83168930989503]
NICER-SLAMは、カメラポーズと階層的なニューラル暗黙マップ表現を同時に最適化するRGB SLAMシステムである。近年のRGB-D SLAMシステムと競合する高密度マッピング,追跡,新しいビュー合成において,高い性能を示す。
論文参考訳（メタデータ） (2023-02-07T17:06:34Z)
ESLAM: Efficient Dense SLAM System Based on Hybrid Representation of Signed Distance Fields [2.0625936401496237]
ESLAMは、未知のカメラポーズでRGB-Dフレームを読み出し、シーン表現を漸進的に再構築する。 ESLAMは3次元再構成の精度を向上し、最先端の高密度視覚SLAM法のカメラローカライゼーションを50%以上向上する。
論文参考訳（メタデータ） (2022-11-21T18:25:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。