論文の概要: Photo-SLAM: Real-time Simultaneous Localization and Photorealistic Mapping for Monocular, Stereo, and RGB-D Cameras

• arxiv url: http://arxiv.org/abs/2311.16728v1
• Date: Tue, 28 Nov 2023 12:19:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 18:30:05.971432
• Title: Photo-SLAM: Real-time Simultaneous Localization and Photorealistic Mapping for Monocular, Stereo, and RGB-D Cameras
• Title（参考訳）: 光SLAM:モノクラー、ステレオ、RGB-Dカメラのリアルタイム同時位置決めと光リアルマッピング
• Authors: Huajian Huang, Longwei Li, Hui Cheng, and Sai-Kit Yeung
• Abstract要約: Photo-SLAMは、ハイパープリミティブマップを備えた新しいSLAMフレームワークである。 そこで我々は,局所化のための明示的な幾何学的特徴を利用して,観測環境のテクスチャ情報を表現するために暗黙的な測光的特徴を学習する。 提案システムは,オンラインフォトリアリスティックマッピングのための最先端SLAMシステムよりも優れている。
• 参考スコア（独自算出の注目度）: 27.543561055868697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The integration of neural rendering and the SLAM system recently showed promising results in joint localization and photorealistic view reconstruction. However, existing methods, fully relying on implicit representations, are so resource-hungry that they cannot run on portable devices, which deviates from the original intention of SLAM. In this paper, we present Photo-SLAM, a novel SLAM framework with a hyper primitives map. Specifically, we simultaneously exploit explicit geometric features for localization and learn implicit photometric features to represent the texture information of the observed environment. In addition to actively densifying hyper primitives based on geometric features, we further introduce a Gaussian-Pyramid-based training method to progressively learn multi-level features, enhancing photorealistic mapping performance. The extensive experiments with monocular, stereo, and RGB-D datasets prove that our proposed system Photo-SLAM significantly outperforms current state-of-the-art SLAM systems for online photorealistic mapping, e.g., PSNR is 30% higher and rendering speed is hundreds of times faster in the Replica dataset. Moreover, the Photo-SLAM can run at real-time speed using an embedded platform such as Jetson AGX Orin, showing the potential of robotics applications.
• Abstract（参考訳）: ニューラルレンダリングとSLAMシステムの統合により,関節局所化と光現実視の再構築が期待できる結果が得られた。 しかし、既存のメソッドは暗黙の表現に完全に依存しており、リソース不足のため、SLAMの本来の意図から逸脱したポータブルデバイスでは実行できない。 本稿では,ハイパープリミティブマップを備えた新しいSLAMフレームワークであるPhoto-SLAMを提案する。 具体的には,局所化のために明示的な幾何学的特徴を同時に活用し,観察した環境のテクスチャ情報を表現する暗黙的な測光的特徴を学習する。 幾何学的特徴に基づくハイパープリミティブの活発化に加えて,多面的特徴を段階的に学習し,フォトリアリスティックマッピング性能を向上させるガウス・ピラミッドに基づくトレーニング手法も導入する。 モノクロ,ステレオ,RGB-Dデータセットを用いた大規模な実験により,提案システムであるPhoto-SLAMは,オンラインフォトリアリスティックマッピングにおける現在のSLAMシステムよりも大幅に優れており,PSNRは30%高く,レンダリング速度はReplicaデータセットの数百倍高速であることが示された。 さらに、Photo-SLAMはJetson AGX Orinのような組み込みプラットフォームを使用してリアルタイムに実行することができ、ロボティクスアプリケーションの可能性を示している。

関連論文リスト

• IG-SLAM: Instant Gaussian SLAM [6.228980850646457]
  3D Gaussian SplattingはSLAMシステムにおける代替シーン表現として期待できる結果を示した。 本稿では,RGBのみの高密度SLAMシステムであるIG-SLAMについて述べる。 我々は、最先端のRGBのみのSLAMシステムと競合する性能を示し、高速な動作速度を実現する。
  論文  参考訳（メタデータ） (2024-08-02T09:07:31Z)
• MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
  カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。 我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。 また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
  論文  参考訳（メタデータ） (2024-04-01T04:57:41Z)
• Gaussian-SLAM: Photo-realistic Dense SLAM with Gaussian Splatting [24.160436463991495]
  本稿では3次元ガウスアンをシーン表現として用いたSLAM法を提案する。 本手法は,実世界のシングルカメラRGBDビデオから,インタラクティブなリアルタイム再構成と写真リアルレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-12-06T10:47:53Z)
• SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM [48.190398577764284]
  SplaTAMは、単一のRGB-Dカメラからの高忠実度再構成を可能にするアプローチである。 基礎となるガウス表現に合わせて、単純なオンライントラッキングとマッピングシステムを採用している。 実験により,SplaTAMはカメラポーズ推定,マップ構築,既存手法に対する新規ビュー合成において最大2倍の性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-12-04T18:53:24Z)
• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• NICER-SLAM: Neural Implicit Scene Encoding for RGB SLAM [111.83168930989503]
  NICER-SLAMは、カメラポーズと階層的なニューラル暗黙マップ表現を同時に最適化するRGB SLAMシステムである。 近年のRGB-D SLAMシステムと競合する高密度マッピング,追跡,新しいビュー合成において,高い性能を示す。
  論文  参考訳（メタデータ） (2023-02-07T17:06:34Z)
• ESLAM: Efficient Dense SLAM System Based on Hybrid Representation of Signed Distance Fields [2.0625936401496237]
  ESLAMは、未知のカメラポーズでRGB-Dフレームを読み出し、シーン表現を漸進的に再構築する。 ESLAMは3次元再構成の精度を向上し、最先端の高密度視覚SLAM法のカメラローカライゼーションを50%以上向上する。
  論文  参考訳（メタデータ） (2022-11-21T18:25:14Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。