論文の概要: Ternary-Type Opacity and Hybrid Odometry for RGB NeRF-SLAM
- arxiv url: http://arxiv.org/abs/2312.13332v3
- Date: Mon, 23 Sep 2024 14:48:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-26 02:44:48.763713
- Title: Ternary-Type Opacity and Hybrid Odometry for RGB NeRF-SLAM
- Title(参考訳): RGB NeRF-SLAM における3値型オパシティとハイブリッドオドメトリー
- Authors: Junru Lin, Asen Nachkov, Songyou Peng, Luc Van Gool, Danda Pani Paudel,
- Abstract要約: 表面を交差する光線上の点を3つの領域(前・前・後・後)に分類する3成分式不透明度モデルを導入する。
これにより、より正確な深度のレンダリングが可能となり、画像ワープ技術の性能が向上する。
TTとHOの統合アプローチは,合成および実世界のデータセット上で最先端のパフォーマンスを実現する。
- 参考スコア(独自算出の注目度): 58.736472371951955
- License:
- Abstract: In this work, we address the challenge of deploying Neural Radiance Field (NeRFs) in Simultaneous Localization and Mapping (SLAM) under the condition of lacking depth information, relying solely on RGB inputs. The key to unlocking the full potential of NeRF in such a challenging context lies in the integration of real-world priors. A crucial prior we explore is the binary opacity prior of 3D space with opaque objects. To effectively incorporate this prior into the NeRF framework, we introduce a ternary-type opacity (TT) model instead, which categorizes points on a ray intersecting a surface into three regions: before, on, and behind the surface. This enables a more accurate rendering of depth, subsequently improving the performance of image warping techniques. Therefore, we further propose a novel hybrid odometry (HO) scheme that merges bundle adjustment and warping-based localization. Our integrated approach of TT and HO achieves state-of-the-art performance on synthetic and real-world datasets, in terms of both speed and accuracy. This breakthrough underscores the potential of NeRF-SLAM in navigating complex environments with high fidelity.
- Abstract(参考訳): 本稿では,RGB入力のみに依存する深度情報を欠く条件下でのSLAMにおけるニューラルレーシアンス場(NeRF)の展開の課題に対処する。
このような困難な状況下で、NeRFの可能性を最大限に解き放つ鍵は、現実世界の先進国の統合にある。
私たちが探求する重要な前兆は、不透明なオブジェクトを持つ3次元空間の前のバイナリ不透明さである。
表面を交差する光線上の点を3つの領域(前・前・後・後)に分類する3次型不透明度(TT)モデルを導入する。
これにより、より正確な深度のレンダリングが可能となり、画像ワープ技術の性能が向上する。
そこで本研究では,バンドル調整とワーピングに基づくローカライゼーションを融合した新しいHybrid odometry(HO)方式を提案する。
TTとHOの統合的なアプローチは、スピードと精度の両面から、合成および実世界のデータセットにおける最先端のパフォーマンスを実現する。
この突破口は、高忠実な複雑な環境を航行するNeRF-SLAMの可能性を示している。
関連論文リスト
- UniRGB-IR: A Unified Framework for Visible-Infrared Downstream Tasks via Adapter Tuning [17.22733823085519]
我々は、RGB-IRダウンストリームタスクを統合するために、UniRGB-IRと呼ばれるスケーラブルで効率的なフレームワークを提案する。
我々のフレームワークは、トランスフォーマー(ViT)基盤モデル、マルチモーダル・フィーチャープール(SFI)モジュール、サプリメント・フィーチャー(SFI)モジュールで構成される。
様々なRGB-IRダウンストリームタスクに対する実験結果から,本手法が最先端の性能を実現することを示す。
論文 参考訳(メタデータ) (2024-04-26T12:21:57Z) - GlORIE-SLAM: Globally Optimized RGB-only Implicit Encoding Point Cloud SLAM [53.6402869027093]
フレキシブルなニューラルポイントクラウド表現シーンを用いたRGBのみの高密度SLAMシステムを提案する。
また,単分子深度とともに暗黙のポーズと深さを最適化する新しいDSPO層を導入する。
論文 参考訳(メタデータ) (2024-03-28T16:32:06Z) - Benchmarking Implicit Neural Representation and Geometric Rendering in Real-Time RGB-D SLAM [6.242958695705305]
インプシット・ニューラル表現(INR)と幾何学的レンダリングの組み合わせは、リアルタイム高密度RGB-D SLAMに採用されている。
我々は、広く使われているINRとレンダリング関数の幅広いスペクトルの性能を評価するための、最初のオープンソースのベンチマークフレームワークを構築した。
RGB-D SLAMシステムに対応するために,高忠実度高密度グリッドマッピングのための明示的なハイブリッド符号化を提案する。
論文 参考訳(メタデータ) (2024-03-28T14:59:56Z) - CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
スパース入力によるNeRFの性能向上のための新しい手法を提案する。
まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。
次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
論文 参考訳(メタデータ) (2024-03-25T15:56:17Z) - Attentive Multimodal Fusion for Optical and Scene Flow [24.08052492109655]
既存の方法は通常、RGB画像のみに依存するか、後段のモダリティを融合させる。
本稿では,センサモード間の早期情報融合を可能にするFusionRAFTという新しいディープニューラルネットワーク手法を提案する。
提案手法は,RGB画像に影響を及ぼすノイズや低照度条件の存在下での堅牢性の向上を示す。
論文 参考訳(メタデータ) (2023-07-28T04:36:07Z) - A Combined Approach Toward Consistent Reconstructions of Indoor Spaces
Based on 6D RGB-D Odometry and KinectFusion [7.503338065129185]
キーポイント抽出により連続したRGB-Dフレーム間の相対的なカメラポーズを求める6次元RGB-Dオドメトリー手法を提案する。
推定されたポーズを、フレーム間相対的なポーズを微調整するKinectFusionアルゴリズムに入力する。
提案アルゴリズムは,ポストプロセッシングのステップを使わずに,利用可能なポリゴンメッシュ(3次元仮想世界を作成するのに非常に適している)を出力する。
論文 参考訳(メタデータ) (2022-12-25T22:52:25Z) - NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。
この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。
我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
論文 参考訳(メタデータ) (2021-06-09T17:59:10Z) - Neural BRDF Representation and Importance Sampling [79.84316447473873]
本稿では,リフレクタンスBRDFデータのコンパクトニューラルネットワークに基づく表現について述べる。
BRDFを軽量ネットワークとしてエンコードし、適応角サンプリングによるトレーニングスキームを提案する。
複数の実世界のデータセットから等方性および異方性BRDFの符号化結果を評価する。
論文 参考訳(メタデータ) (2021-02-11T12:00:24Z) - Fast Hyperspectral Image Recovery via Non-iterative Fusion of
Dual-Camera Compressive Hyperspectral Imaging [22.683482662362337]
符号化開口分光画像(CASSI)は3次元ハイパースペクトル像(HSI)を撮像するための有望な技術である
様々な正規化器を用いて2次元計測から3次元データを再構成している。
実現可能な解決策の1つは、CASSIのRGB測定などの追加情報を活用することです。
論文 参考訳(メタデータ) (2020-12-30T10:29:32Z) - Bi-directional Cross-Modality Feature Propagation with
Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。
既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。
本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
論文 参考訳(メタデータ) (2020-07-17T18:35:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。