論文の概要: Hi-SLAM: Scaling-up Semantics in SLAM with a Hierarchically Categorical Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2409.12518v1
- Date: Wed, 9 Oct 2024 11:48:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 14:30:28.562879
- Title: Hi-SLAM: Scaling-up Semantics in SLAM with a Hierarchically Categorical Gaussian Splatting
- Title（参考訳）: Hi-SLAM:階層的分類型ガウススプレイティングによるSLAMのスケールアップセマンティックス
- Authors: Boying Li, Zhixi Cai, Yuan-Fang Li, Ian Reid, Hamid Rezatofighi,
- Abstract要約: Hi-SLAMは、新しい階層的分類表現を特徴とするセマンティックな3次元ガウススプラッティングSLAM法である。
正確なグローバルな3Dセマンティックマッピング、スケールアップ機能、および3D世界での明示的なセマンティックラベル予測を可能にする。
- 参考スコア（独自算出の注目度）: 28.821276113559346
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose Hi-SLAM, a semantic 3D Gaussian Splatting SLAM method featuring a novel hierarchical categorical representation, which enables accurate global 3D semantic mapping, scaling-up capability, and explicit semantic label prediction in the 3D world. The parameter usage in semantic SLAM systems increases significantly with the growing complexity of the environment, making it particularly challenging and costly for scene understanding. To address this problem, we introduce a novel hierarchical representation that encodes semantic information in a compact form into 3D Gaussian Splatting, leveraging the capabilities of large language models (LLMs). We further introduce a novel semantic loss designed to optimize hierarchical semantic information through both inter-level and cross-level optimization. Furthermore, we enhance the whole SLAM system, resulting in improved tracking and mapping performance. Our Hi-SLAM outperforms existing dense SLAM methods in both mapping and tracking accuracy, while achieving a 2x operation speed-up. Additionally, it exhibits competitive performance in rendering semantic segmentation in small synthetic scenes, with significantly reduced storage and training time requirements. Rendering FPS impressively reaches 2,000 with semantic information and 3,000 without it. Most notably, it showcases the capability of handling the complex real-world scene with more than 500 semantic classes, highlighting its valuable scaling-up capability.
- Abstract（参考訳）: 提案手法は,3次元世界における高精度なグローバルな3次元セマンティックマッピング,スケールアップ機能,明示的なセマンティックラベル予測を可能にする,新しい階層的カテゴリ表現を特徴とするセマンティック3Dガウス分割SLAM法である。
意味的SLAMシステムにおけるパラメータの使用量は、環境の複雑さが増大するにつれて著しく増加し、シーン理解において特に困難でコストがかかる。
この問題に対処するために,我々は,大規模言語モデル(LLM)の機能を活用して,意味情報をコンパクトな形式で3次元ガウススプラッティングに符号化する,新しい階層表現を導入する。
さらに,階層的セマンティック情報を階層間最適化とクロスレベル最適化によって最適化する新しいセマンティックロスを導入する。
さらに、SLAMシステム全体を拡張し、トラッキング性能とマッピング性能を改善した。
我々のHi-SLAMは、マッピングと追跡の精度の両方で既存の高密度SLAM法より優れており、2倍の動作速度を実現しています。
さらに、小さな合成シーンにおけるセマンティックセグメンテーションのレンダリングにおける競合性能を示し、ストレージとトレーニング時間を大幅に削減する。
FPSのレンダリングは、セマンティック情報付きで2,000、それなしで3000に達する。
最も注目すべきは、500以上のセマンティッククラスで複雑な現実世界のシーンを扱う能力を示し、その価値あるスケーリング機能を強調していることだ。
関連論文リスト
- ALOcc: Adaptive Lifting-based 3D Semantic Occupancy and Cost Volume-based Flow Prediction [89.89610257714006]
既存の手法は、これらのタスクの要求に応えるために高い精度を優先する。
本稿では,3次元セマンティック占有率予測とフロー推定のための一連の改善点を紹介する。
私たちの純粋な時間的アーキテクチャフレームワークであるALOccは、速度と精度の最適なトレードオフを実現しています。
論文 参考訳（メタデータ） (2024-11-12T11:32:56Z) - IG-SLAM: Instant Gaussian SLAM [6.228980850646457]
3D Gaussian SplattingはSLAMシステムにおける代替シーン表現として期待できる結果を示した。
本稿では,RGBのみの高密度SLAMシステムであるIG-SLAMについて述べる。
我々は、最先端のRGBのみのSLAMシステムと競合する性能を示し、高速な動作速度を実現する。
論文 参考訳（メタデータ） (2024-08-02T09:07:31Z) - NIS-SLAM: Neural Implicit Semantic RGB-D SLAM for 3D Consistent Scene Understanding [31.56016043635702]
NIS-SLAMは,高効率な暗黙的意味論的RGB-D SLAMシステムである。
高忠実な表面再構成と空間的一貫したシーン理解のために、我々は高周波多分解能テトラヘドロンに基づく特徴を組み合わせた。
また、我々のアプローチが拡張現実のアプリケーションに応用可能であることも示している。
論文 参考訳（メタデータ） (2024-07-30T14:27:59Z) - CLIP-GS: CLIP-Informed Gaussian Splatting for Real-time and View-consistent 3D Semantic Understanding [32.76277160013881]
コントラスト言語画像事前学習(CLIP)のセマンティクスをガウススプラッティングに統合するCLIP-GSを提案する。
SACはオブジェクト内の固有の統一意味論を利用して、3Dガウスのコンパクトで効果的な意味表現を学ぶ。
また,3次元モデルから得られた多視点一貫性を利用して,3次元コヒーレント自己学習(3DCS)戦略を導入する。
論文 参考訳（メタデータ） (2024-04-22T15:01:32Z) - NEDS-SLAM: A Neural Explicit Dense Semantic SLAM Framework using 3D Gaussian Splatting [5.655341825527482]
NEDS-SLAMは3次元ガウス表現に基づく意味論的SLAMシステムである。
本研究では,事前学習したセグメンテーションヘッドからの誤推定の影響を低減するために,空間的に一貫性のある特徴融合モデルを提案する。
我々は,高次元意味的特徴をコンパクトな3次元ガウス表現に圧縮するために,軽量エンコーダデコーダを用いる。
論文 参考訳（メタデータ） (2024-03-18T11:31:03Z) - SemGauss-SLAM: Dense Semantic Gaussian Splatting SLAM [14.126704753481972]
本稿では,SemGauss-SLAMを提案する。SemGauss-SLAMは,高精度な3次元セマンティックマッピング,ロバストなカメラトラッキング,高品質なレンダリングを実現する。
セマンティックな特徴を3次元ガウス表現に組み込んで,環境の空間的レイアウト内で意味情報を効果的にエンコードする。
トラッキングにおける累積ドリフトの低減とセマンティック再構築の精度向上のために,セマンティックインフォームドバンドル調整を導入する。
論文 参考訳（メタデータ） (2024-03-12T10:33:26Z) - DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。
本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。
実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
論文 参考訳（メタデータ） (2023-11-30T21:34:44Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳（メタデータ） (2023-11-20T12:08:23Z) - Volumetric Semantically Consistent 3D Panoptic Mapping [77.13446499924977]
非構造環境における自律エージェントに適したセマンティック3Dマップを生成することを目的としたオンライン2次元から3次元のセマンティック・インスタンスマッピングアルゴリズムを提案する。
マッピング中にセマンティック予測の信頼性を統合し、セマンティックおよびインスタンス一貫性のある3D領域を生成する新しい方法を導入する。
提案手法は,パブリックな大規模データセット上での最先端の精度を実現し,多くの広く使用されているメトリクスを改善した。
論文 参考訳（メタデータ） (2023-09-26T08:03:10Z) - NICER-SLAM: Neural Implicit Scene Encoding for RGB SLAM [111.83168930989503]
NICER-SLAMは、カメラポーズと階層的なニューラル暗黙マップ表現を同時に最適化するRGB SLAMシステムである。
近年のRGB-D SLAMシステムと競合する高密度マッピング,追跡,新しいビュー合成において,高い性能を示す。
論文 参考訳（メタデータ） (2023-02-07T17:06:34Z) - NICE-SLAM: Neural Implicit Scalable Encoding for SLAM [112.6093688226293]
NICE-SLAMは階層的なシーン表現を導入することでマルチレベルローカル情報を組み込んだ高密度SLAMシステムである。
最近の暗黙的SLAMシステムと比較して、私たちのアプローチはよりスケーラブルで効率的で堅牢です。
論文 参考訳（メタデータ） (2021-12-22T18:45:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。