論文の概要: Implicit Event-RGBD Neural SLAM

• arxiv url: http://arxiv.org/abs/2311.11013v3
• Date: Sun, 17 Mar 2024 04:54:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 03:02:46.023674
• Title: Implicit Event-RGBD Neural SLAM
• Title（参考訳）: 入射RGBDニューラルSLAM
• Authors: Delin Qu, Chi Yan, Dong Wang, Jie Yin, Dan Xu, Bin Zhao, Xuelong Li,
• Abstract要約: 神経性SLAMは近年顕著な進歩を遂げている。 既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。 本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
• 参考スコア（独自算出の注目度）: 54.74363487009845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Implicit neural SLAM has achieved remarkable progress recently. Nevertheless, existing methods face significant challenges in non-ideal scenarios, such as motion blur or lighting variation, which often leads to issues like convergence failures, localization drifts, and distorted mapping. To address these challenges, we propose EN-SLAM, the first event-RGBD implicit neural SLAM framework, which effectively leverages the high rate and high dynamic range advantages of event data for tracking and mapping. Specifically, EN-SLAM proposes a differentiable CRF (Camera Response Function) rendering technique to generate distinct RGB and event camera data via a shared radiance field, which is optimized by learning a unified implicit representation with the captured event and RGBD supervision. Moreover, based on the temporal difference property of events, we propose a temporal aggregating optimization strategy for the event joint tracking and global bundle adjustment, capitalizing on the consecutive difference constraints of events, significantly enhancing tracking accuracy and robustness. Finally, we construct the simulated dataset DEV-Indoors and real captured dataset DEV-Reals containing 6 scenes, 17 sequences with practical motion blur and lighting changes for evaluations. Experimental results show that our method outperforms the SOTA methods in both tracking ATE and mapping ACC with a real-time 17 FPS in various challenging environments. Project page: https://delinqu.github.io/EN-SLAM.
• Abstract（参考訳）: 神経性SLAMは近年顕著な進歩を遂げている。 それにもかかわらず、既存の手法は、動きのぼやけや照明の変動など、非理想的なシナリオにおいて重大な課題に直面しており、しばしば収束障害、局所化ドリフト、歪んだマッピングといった問題に繋がる。 これらの課題に対処するため,EN-SLAMを提案する。これは最初のイベント-RGBD暗黙的ニューラルSLAMフレームワークで,追跡とマッピングにイベントデータの高速かつ高ダイナミックレンジの利点を効果的に活用する。 特に、EN-SLAMは、異なるRGBおよびイベントカメラデータを共有放射場を介して生成する、識別可能なCRF(Camera Response Function)レンダリング技術を提案する。 さらに,イベントの時間的差分特性に基づいて,イベントの連続的な差分制約に着目し,追跡精度とロバスト性を大幅に向上させるとともに,イベント関節追跡とグローバルバンドル調整のための時間的アグリゲーション最適化戦略を提案する。 最後に,6つのシーンを含むシミュレーションデータセットDev-Indoorsと実撮データセットDev-Realsを構築する。 実験結果から,本手法は ATE の追跡と ACC のマッピングにおいて, 様々な難易度環境における 17 FPS のリアルタイムマッピングにおいて, SOTA の手法よりも優れていることがわかった。 プロジェクトページ: https://delinqu.github.io/EN-SLAM。

関連論文リスト

• EventZoom: A Progressive Approach to Event-Based Data Augmentation for Enhanced Neuromorphic Vision [9.447299017563841]
  ダイナミックビジョンセンサー(DVS)は、高時間分解能と低消費電力でイベントデータをキャプチャする。 イベントデータ拡張は、イベントデータセットのスケールと多様性の制限を克服するための重要な方法である。
  論文  参考訳（メタデータ） (2024-05-29T08:39:31Z)
• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• Chasing Day and Night: Towards Robust and Efficient All-Day Object Detection Guided by an Event Camera [8.673063170884591]
  EOLOは、RGBとイベントモダリティの両方を融合させることで、堅牢で効率的な全日検出を実現する、新しいオブジェクト検出フレームワークである。 我々のEOLOフレームワークは、イベントの非同期特性を効率的に活用するために、軽量スパイキングニューラルネットワーク(SNN)に基づいて構築されている。
  論文  参考訳（メタデータ） (2023-09-17T15:14:01Z)
• Deformable Neural Radiance Fields using RGB and Event Cameras [65.40527279809474]
  我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。 提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。 現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
  論文  参考訳（メタデータ） (2023-09-15T14:19:36Z)
• Generalizing Event-Based Motion Deblurring in Real-World Scenarios [62.995994797897424]
  イベントベースの動作遅延は、低レイテンシイベントを活用することで、有望な結果を示している。 本研究では,フレキシブルな入力空間スケールを実現するとともに,時間スケールの異なる動きのぼかしから学習できるスケール対応ネットワークを提案する。 次に,実世界のデータ分布に適合する2段階の自己教師型学習手法を開発した。
  論文  参考訳（メタデータ） (2023-08-11T04:27:29Z)
• Event-based Simultaneous Localization and Mapping: A Comprehensive Survey [52.73728442921428]
  ローカライゼーションとマッピングタスクのための非同期および不規則なイベントストリームの利点を利用する、イベントベースのvSLAMアルゴリズムのレビュー。 Paperは、イベントベースのvSLAMメソッドを、特徴ベース、ダイレクト、モーション補償、ディープラーニングの4つのカテゴリに分類する。
  論文  参考訳（メタデータ） (2023-04-19T16:21:14Z)
• Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and Events [63.984927609545856]
  任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。 提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
  論文  参考訳（メタデータ） (2023-04-14T05:30:02Z)
• Event-based Image Deblurring with Dynamic Motion Awareness [10.81953574179206]
  露光時間における実RGBのぼかし画像と関連する事象のペアを含む最初のデータセットを紹介する。 以上の結果より,PSNRは合成データで1.57dB,実イベントデータで1.08dBまで改善された。
  論文  参考訳（メタデータ） (2022-08-24T09:39:55Z)
• Ev-TTA: Test-Time Adaptation for Event-Based Object Recognition [7.814941658661939]
  Ev-TTAは、イベントベースのオブジェクト認識のためのシンプルで効果的なテスト時間適応である。 我々の定式化は、入力表現に関係なくうまく適用でき、回帰タスクに拡張できる。
  論文  参考訳（メタデータ） (2022-03-23T07:43:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。