Fugu-MT 論文翻訳(概要): NeSLAM: Neural Implicit Mapping and Self-Supervised Feature Tracking With Depth Completion and Denoising

論文の概要: NeSLAM: Neural Implicit Mapping and Self-Supervised Feature Tracking With Depth Completion and Denoising

arxiv url: http://arxiv.org/abs/2403.20034v1
Date: Fri, 29 Mar 2024 07:59:37 GMT
ステータス: 処理完了
システム内更新日: 2024-04-01 16:15:12.238276
Title: NeSLAM: Neural Implicit Mapping and Self-Supervised Feature Tracking With Depth Completion and Denoising
Title（参考訳）: NeSLAM:Depth CompletionとDenoisingによるニューラルインシシシトマッピングとセルフスーパービジョン機能追跡
Authors: Tianchen Deng, Yanbo Wang, Hongle Xie, Hesheng Wang, Jingchuan Wang, Danwei Wang, Weidong Chen,
Abstract要約: 我々は,高精度で密度の高い深度推定,ロバストなカメラトラッキング,新しいビューの現実的な合成を実現するフレームワークNeSLAMを提案する。各種屋内データセットを用いた実験は、再構築、品質追跡、新しいビュー合成におけるシステムの有効性と精度を示す。
参考スコア（独自算出の注目度）: 23.876281686625134
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: In recent years, there have been significant advancements in 3D reconstruction and dense RGB-D SLAM systems. One notable development is the application of Neural Radiance Fields (NeRF) in these systems, which utilizes implicit neural representation to encode 3D scenes. This extension of NeRF to SLAM has shown promising results. However, the depth images obtained from consumer-grade RGB-D sensors are often sparse and noisy, which poses significant challenges for 3D reconstruction and affects the accuracy of the representation of the scene geometry. Moreover, the original hierarchical feature grid with occupancy value is inaccurate for scene geometry representation. Furthermore, the existing methods select random pixels for camera tracking, which leads to inaccurate localization and is not robust in real-world indoor environments. To this end, we present NeSLAM, an advanced framework that achieves accurate and dense depth estimation, robust camera tracking, and realistic synthesis of novel views. First, a depth completion and denoising network is designed to provide dense geometry prior and guide the neural implicit representation optimization. Second, the occupancy scene representation is replaced with Signed Distance Field (SDF) hierarchical scene representation for high-quality reconstruction and view synthesis. Furthermore, we also propose a NeRF-based self-supervised feature tracking algorithm for robust real-time tracking. Experiments on various indoor datasets demonstrate the effectiveness and accuracy of the system in reconstruction, tracking quality, and novel view synthesis.
Abstract（参考訳）: 近年,3次元再構成やRGB-D SLAMの高度化が進んでいる。これらのシステムにNeural Radiance Fields (NeRF) を応用し、暗黙のニューラル表現を用いて3Dシーンをエンコードする。この NeRF から SLAM への拡張は有望な結果を示している。しかし、コンシューマグレードのRGB-Dセンサから得られる深度画像は、しばしば疎遠でノイズが多いため、3次元再構成には大きな課題があり、シーン形状の正確な表現に影響を及ぼす。さらに、シーン幾何学表現において、占有価値を持つ元の階層的特徴グリッドが不正確である。さらに,既存手法ではカメラトラッキングのためのランダム画素が選択されており,これは不正確な位置決めにつながり,現実世界の屋内環境では堅牢ではない。そこで我々は,高精度で密度の高い深度推定,ロバストなカメラトラッキング,新しいビューの現実的な合成を実現する高度フレームワークNeSLAMを提案する。第一に、深度補完・復調ネットワークは、事前に密な幾何を提供し、暗黙的表現最適化を導くように設計されている。第二に、占有シーンの表現を、高品質な再構成とビュー合成のための手話距離場(Signed Distance Field, SDF)階層的なシーン表現に置き換える。また,より堅牢なリアルタイムトラッキングを実現するために,NeRFに基づく自己教師型特徴追跡アルゴリズムを提案する。各種屋内データセットを用いた実験は、再構築、品質追跡、新しいビュー合成におけるシステムの有効性と精度を示す。

関連論文リスト

SG-NeRF: Neural Surface Reconstruction with Scene Graph Optimization [16.460851701725392]
本稿では,外乱ポーズの影響を軽減するため,シーングラフを用いた放射場最適化手法を提案する。本手法では,シーングラフに基づく適応型不整合・不整合信頼度推定手法を取り入れた。また、カメラのポーズと表面形状を最適化するために、効果的な交叉結合(IoU)損失を導入する。
論文参考訳（メタデータ） (2024-07-17T15:50:17Z)
MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文参考訳（メタデータ） (2024-04-01T04:57:41Z)
NeRF-VO: Real-Time Sparse Visual Odometry with Neural Radiance Fields [13.178099653374945]
NeRF-VOは、低遅延カメラトラッキングとニューラルラディアンスシーン表現のための学習ベースのスパースビジュアルオドメトリーを統合している。我々は、様々な合成および実世界のデータセットに対して、ポーズ推定精度、新しいビュー忠実度、および密度の高い再構成品質においてSOTA法を超越した。
論文参考訳（メタデータ） (2023-12-20T22:42:17Z)
DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
論文参考訳（メタデータ） (2023-11-30T21:34:44Z)
LiveNVS: Neural View Synthesis on Live RGB-D Streams [4.717325308876748]
本稿では,ライブRGB-D入力ストリーム上でニューラルノベルビューを合成するシステムLiveNVSを提案する。 LiveNVSは、キャプチャ中に未知のシーンの最先端のニューラルネットワークレンダリング品質を達成する。
論文参考訳（メタデータ） (2023-11-28T10:29:39Z)
Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文参考訳（メタデータ） (2023-05-07T20:36:29Z)
SurfelNeRF: Neural Surfel Radiance Fields for Online Photorealistic Reconstruction of Indoor Scenes [17.711755550841385]
SLAMに基づく手法は、3Dシーンの形状をリアルタイムで段階的に再構成することができるが、フォトリアリスティックな結果を描画することはできない。 NeRFベースの手法は、将来有望な新しいビュー合成結果を生成し、その長いオフライン最適化時間と幾何的制約の欠如は、オンライン入力を効率的に処理する上での課題となる。本稿では、フレキシブルでスケーラブルなニューラルサーベイル表現を用いて、入力画像から幾何学的属性と外観特徴を抽出するSurfelNeRFを紹介する。
論文参考訳（メタデータ） (2023-04-18T13:11:49Z)
NICER-SLAM: Neural Implicit Scene Encoding for RGB SLAM [111.83168930989503]
NICER-SLAMは、カメラポーズと階層的なニューラル暗黙マップ表現を同時に最適化するRGB SLAMシステムである。近年のRGB-D SLAMシステムと競合する高密度マッピング,追跡,新しいビュー合成において,高い性能を示す。
論文参考訳（メタデータ） (2023-02-07T17:06:34Z)
Learning Neural Radiance Fields from Multi-View Geometry [1.1011268090482573]
画像に基づく3次元再構成のために,多視点幾何アルゴリズムとニューラルレージアンス場(NeRF)を組み合わせたMVG-NeRF(MVG-NeRF)というフレームワークを提案する。 NeRFは暗黙の3D表現の分野に革命をもたらした。
論文参考訳（メタデータ） (2022-10-24T08:53:35Z)
CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文参考訳（メタデータ） (2022-09-02T17:44:50Z)
SCFusion: Real-time Incremental Scene Reconstruction with Semantic Completion [86.77318031029404]
本研究では,シーン再構成とセマンティックシーン補完を段階的かつリアルタイムに共同で行うフレームワークを提案する。我々のフレームワークは、3Dグローバルモデルでセマンティックコンプリートを正確かつ効率的に融合させるために、占有マップを処理し、ボクセル状態を活用するように設計された新しいニューラルアーキテクチャに依存している。
論文参考訳（メタデータ） (2020-10-26T15:31:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。