論文の概要: DNS SLAM: Dense Neural Semantic-Informed SLAM

• arxiv url: http://arxiv.org/abs/2312.00204v1
• Date: Thu, 30 Nov 2023 21:34:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 16:27:36.203911
• Title: DNS SLAM: Dense Neural Semantic-Informed SLAM
• Title（参考訳）: DNS SLAM:Dense Neural Semantic-Informed SLAM
• Authors: Kunyi Li, Michael Niemeyer, Nassir Navab, Federico Tombari
• Abstract要約: DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
• 参考スコア（独自算出の注目度）: 92.39687553022605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, coordinate-based neural implicit representations have shown promising results for the task of Simultaneous Localization and Mapping (SLAM). While achieving impressive performance on small synthetic scenes, these methods often suffer from oversmoothed reconstructions, especially for complex real-world scenes. In this work, we introduce DNS SLAM, a novel neural RGB-D semantic SLAM approach featuring a hybrid representation. Relying only on 2D semantic priors, we propose the first semantic neural SLAM method that trains class-wise scene representations while providing stable camera tracking at the same time. Our method integrates multi-view geometry constraints with image-based feature extraction to improve appearance details and to output color, density, and semantic class information, enabling many downstream applications. To further enable real-time tracking, we introduce a lightweight coarse scene representation which is trained in a self-supervised manner in latent space. Our experimental results achieve state-of-the-art performance on both synthetic data and real-world data tracking while maintaining a commendable operational speed on off-the-shelf hardware. Further, our method outputs class-wise decomposed reconstructions with better texture capturing appearance and geometric details.
• Abstract（参考訳）: 近年、座標に基づくニューラル暗黙表現は、同時局在マッピング(SLAM)の課題に対して有望な結果を示している。 小さな合成シーンで印象的なパフォーマンスを実現する一方で、これらの手法は、特に複雑な実世界のシーンにおいて、過剰な再構築に苦しむことが多い。 本稿では,ハイブリッド表現を特徴とする新しいRGB-DセマンティックSLAMアプローチであるDNS SLAMを紹介する。 2dセマンティクスプリエントのみに依拠して,クラス毎のシーン表現をトレーニングし,同時に安定したカメラトラッキングを提供する,最初のセマンティックニューラルスラム法を提案する。 画像に基づく特徴抽出とマルチビュー幾何制約を統合して外観の詳細を改善し,色,密度,意味クラス情報を出力し,多くの下流アプリケーションを実現する。 さらに,リアルタイム追跡を実現するために,潜在空間で自己教師ありで訓練された軽量な粗いシーン表現を導入する。 実験により,市販ハードウェアの動作速度を維持しつつ,合成データと実世界のデータ追跡の両面での最先端性能を実現した。 さらに,テクスチャキャプチャの外観と幾何学的詳細を改良したクラス分割再構成を出力する。

関連論文リスト

• NIS-SLAM: Neural Implicit Semantic RGB-D SLAM for 3D Consistent Scene Understanding [31.56016043635702]
  NIS-SLAMは,高効率な暗黙的意味論的RGB-D SLAMシステムである。 高忠実な表面再構成と空間的一貫したシーン理解のために、我々は高周波多分解能テトラヘドロンに基づく特徴を組み合わせた。 また、我々のアプローチが拡張現実のアプリケーションに応用可能であることも示している。
  論文  参考訳（メタデータ） (2024-07-30T14:27:59Z)
• DF-SLAM: Dictionary Factors Representation for High-Fidelity Neural Implicit Dense Visual SLAM System [4.498270578781014]
  DF-SLAMと呼ばれる高忠実度ニューラル暗黙的視覚的局所化マッピングシステムを提案する。 本研究では,シーンの形状と外観情報を基本因子と係数因子の組み合わせとして符号化し,シーン表現に辞書因子を用いる。 モデルのサイズはシーンマップのサイズに敏感であるのに対し,本手法ではシーン詳細再構築機能とメモリ使用効率が向上している。
  論文  参考訳（メタデータ） (2024-04-27T12:19:23Z)
• Gaussian-SLAM: Photo-realistic Dense SLAM with Gaussian Splatting [24.160436463991495]
  本稿では3次元ガウスアンをシーン表現として用いたSLAM法を提案する。 本手法は,実世界のシングルカメラRGBDビデオから,インタラクティブなリアルタイム再構成と写真リアルレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-12-06T10:47:53Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)
• Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene Reconstruction [29.83056271799794]
  暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。 本稿では,3次元ガウシアンを用いてシーンを再構成し,標準空間で学習する,変形可能な3次元ガウシアンスプラッティング法を提案する。 微分ガウシアン化器により、変形可能な3Dガウシアンは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
  論文  参考訳（メタデータ） (2023-09-22T16:04:02Z)
• Fast Monocular Scene Reconstruction with Global-Sparse Local-Dense Grids [84.90863397388776]
  本稿では,スパルス・ボクセル・ブロック・グリッドにおける署名付き距離関数(SDF)を直接使用して,距離のない高速かつ正確なシーン再構成を実現することを提案する。 我々の世界規模で疎密で局所的なデータ構造は、表面の空間的空間性を利用して、キャッシュフレンドリーなクエリを可能にし、マルチモーダルデータへの直接拡張を可能にします。 実験により、我々のアプローチはトレーニングでは10倍、レンダリングでは100倍高速であり、最先端のニューラル暗黙法に匹敵する精度を実現していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T16:50:19Z)
• NICER-SLAM: Neural Implicit Scene Encoding for RGB SLAM [111.83168930989503]
  NICER-SLAMは、カメラポーズと階層的なニューラル暗黙マップ表現を同時に最適化するRGB SLAMシステムである。 近年のRGB-D SLAMシステムと競合する高密度マッピング,追跡,新しいビュー合成において,高い性能を示す。
  論文  参考訳（メタデータ） (2023-02-07T17:06:34Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• NICE-SLAM: Neural Implicit Scalable Encoding for SLAM [112.6093688226293]
  NICE-SLAMは階層的なシーン表現を導入することでマルチレベルローカル情報を組み込んだ高密度SLAMシステムである。 最近の暗黙的SLAMシステムと比較して、私たちのアプローチはよりスケーラブルで効率的で堅牢です。
  論文  参考訳（メタデータ） (2021-12-22T18:45:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。