論文の概要: Benchmarking Implicit Neural Representation and Geometric Rendering in Real-Time RGB-D SLAM
- arxiv url: http://arxiv.org/abs/2403.19473v1
- Date: Thu, 28 Mar 2024 14:59:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-29 15:54:24.439184
- Title: Benchmarking Implicit Neural Representation and Geometric Rendering in Real-Time RGB-D SLAM
- Title（参考訳）: リアルタイムRGB-D SLAMにおける入射ニューラル表現と幾何レンダリングのベンチマーク
- Authors: Tongyan Hua, Lin Wang,
- Abstract要約: インプシット・ニューラル表現(INR)と幾何学的レンダリングの組み合わせは、リアルタイム高密度RGB-D SLAMに採用されている。
我々は、広く使われているINRとレンダリング関数の幅広いスペクトルの性能を評価するための、最初のオープンソースのベンチマークフレームワークを構築した。
RGB-D SLAMシステムに対応するために,高忠実度高密度グリッドマッピングのための明示的なハイブリッド符号化を提案する。
- 参考スコア（独自算出の注目度）: 6.242958695705305
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Implicit neural representation (INR), in combination with geometric rendering, has recently been employed in real-time dense RGB-D SLAM. Despite active research endeavors being made, there lacks a unified protocol for fair evaluation, impeding the evolution of this area. In this work, we establish, to our knowledge, the first open-source benchmark framework to evaluate the performance of a wide spectrum of commonly used INRs and rendering functions for mapping and localization. The goal of our benchmark is to 1) gain an intuition of how different INRs and rendering functions impact mapping and localization and 2) establish a unified evaluation protocol w.r.t. the design choices that may impact the mapping and localization. With the framework, we conduct a large suite of experiments, offering various insights in choosing the INRs and geometric rendering functions: for example, the dense feature grid outperforms other INRs (e.g. tri-plane and hash grid), even when geometric and color features are jointly encoded for memory efficiency. To extend the findings into the practical scenario, a hybrid encoding strategy is proposed to bring the best of the accuracy and completion from the grid-based and decomposition-based INRs. We further propose explicit hybrid encoding for high-fidelity dense grid mapping to comply with the RGB-D SLAM system that puts the premise on robustness and computation efficiency.
- Abstract（参考訳）: Inlicit Neural representation (INR) は、幾何学的レンダリングと組み合わせて、最近、リアルタイム高密度RGB-D SLAMに採用されている。
活発な研究努力にもかかわらず、公正な評価のための統一されたプロトコルが欠如しており、この分野の進化を妨げている。
本研究は、我々の知る限り、広く使われているINRの幅広いスペクトルの性能と、マッピングとローカライゼーションのためのレンダリング機能を評価するための、最初のオープンソースベンチマークフレームワークである。
ベンチマークの目標は
1)INRとレンダリング機能の違いがマッピングとローカライゼーションに与える影響の直感を得る。
2) マッピングとローカライゼーションに影響を与える可能性のある設計選択を統一評価プロトコルとして確立する。
例えば、高密度な特徴格子は、メモリ効率のために幾何学的特徴と色特徴を共に符号化した場合でも、他のINR(例えば、トリプレーンやハッシュグリッド)よりも優れる。
実験結果を現実的なシナリオに拡張するために,グリッドベースおよび分解型INRの精度と完成性を最大限に活用するためのハイブリッド符号化戦略を提案する。
さらに,RGB-D SLAMシステムに準拠する高忠実度グリッドマッピングのための明示的なハイブリッド符号化を提案し,ロバスト性および計算効率を前提とした。
関連論文リスト
- Splat-SLAM: Globally Optimized RGB-only SLAM with 3D Gaussians [87.48403838439391]
3D Splattingは、RGBのみの高密度SLAMの幾何学と外観の強力な表現として登場した。
本稿では,高密度な3次元ガウス写像表現を持つRGBのみのSLAMシステムを提案する。
Replica、TUM-RGBD、ScanNetのデータセットに対する実験は、グローバルに最適化された3Dガウスの有効性を示している。
論文 参考訳（メタデータ） (2024-05-26T12:26:54Z) - GlORIE-SLAM: Globally Optimized RGB-only Implicit Encoding Point Cloud SLAM [53.6402869027093]
フレキシブルなニューラルポイントクラウド表現シーンを用いたRGBのみの高密度SLAMシステムを提案する。
また,単分子深度とともに暗黙のポーズと深さを最適化する新しいDSPO層を導入する。
論文 参考訳（メタデータ） (2024-03-28T16:32:06Z) - RGBD GS-ICP SLAM [1.3108652488669732]
一般化反復閉点(G-ICP)と3次元ガウススプラッティング(DGS)を融合した新しい密度表現SLAM手法を提案する。
実験の結果,提案手法の有効性が示され,非常に高速な107 FPSが得られた。
論文 参考訳（メタデータ） (2024-03-19T08:49:48Z) - Sim-to-Real Grasp Detection with Global-to-Local RGB-D Adaptation [19.384129689848294]
本稿では,RGB-Dグリップ検出のシム・ツー・リアル問題に着目し,ドメイン適応問題として定式化する。
本稿では,RGBと深度データにおけるハイブリッドドメインギャップに対処し,マルチモーダルな特徴アライメントが不十分なグローバル・ローカルな手法を提案する。
論文 参考訳（メタデータ） (2024-03-18T06:42:38Z) - Leveraging Neural Radiance Field in Descriptor Synthesis for Keypoints Scene Coordinate Regression [1.2974519529978974]
本稿では,Neural Radiance Field (NeRF) を用いたキーポイント記述子合成のためのパイプラインを提案する。
新たなポーズを生成してトレーニングされたNeRFモデルに入力して新しいビューを生成することで、当社のアプローチは、データスカース環境でのKSCRの機能を強化します。
提案システムは,最大50%のローカライズ精度向上を実現し,データ合成に要するコストをわずかに抑えることができた。
論文 参考訳（メタデータ） (2024-03-15T13:40:37Z) - DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。
本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。
実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
論文 参考訳（メタデータ） (2023-11-30T21:34:44Z) - CP-SLAM: Collaborative Neural Point-based SLAM System [54.916578456416204]
本稿では,RGB-D画像シーケンスを用いた協調型暗黙的ニューラルローカライゼーションとマッピング(SLAM)システムを提案する。
これらすべてのモジュールを統一的なフレームワークで実現するために,ニューラルポイントに基づく新しい3次元シーン表現を提案する。
協調的な暗黙的SLAMに対して,一貫性と協調性を改善するために,分散分散型学習戦略を提案する。
論文 参考訳（メタデータ） (2023-11-14T09:17:15Z) - Binarized Spectral Compressive Imaging [59.18636040850608]
ハイパースペクトル画像(HSI)再構成のための既存のディープラーニングモデルは、優れた性能を実現するが、膨大なメモリと計算資源を持つ強力なハードウェアを必要とする。
本稿では,BiSRNet(Biarized Spectral-Redistribution Network)を提案する。
BiSRNetは,提案手法を用いてベースモデルのバイナライズを行う。
論文 参考訳（メタデータ） (2023-05-17T15:36:08Z) - Spelunking the Deep: Guaranteed Queries for General Neural Implicit
Surfaces [35.438964954948574]
この研究は、広範囲の既存アーキテクチャに対して、一般的なニューラル暗黙関数でクエリを直接実行するための新しいアプローチを示す。
私たちのキーとなるツールは、ニューラルネットワークへのレンジ分析の適用であり、ネットワークの出力を領域を越えてバウンドするために自動演算ルールを使用します。
得られた境界を用いて、レイキャスト、交差試験、空間階層の構築、高速メッシュ抽出、最近点評価などのクエリを開発する。
論文 参考訳（メタデータ） (2022-02-05T00:37:08Z) - Neural BRDF Representation and Importance Sampling [79.84316447473873]
本稿では,リフレクタンスBRDFデータのコンパクトニューラルネットワークに基づく表現について述べる。
BRDFを軽量ネットワークとしてエンコードし、適応角サンプリングによるトレーニングスキームを提案する。
複数の実世界のデータセットから等方性および異方性BRDFの符号化結果を評価する。
論文 参考訳（メタデータ） (2021-02-11T12:00:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。