論文の概要: Implicit Event-RGBD Neural SLAM
- arxiv url: http://arxiv.org/abs/2311.11013v2
- Date: Tue, 21 Nov 2023 06:18:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 12:56:40.098649
- Title: Implicit Event-RGBD Neural SLAM
- Title(参考訳): 入射RGBDニューラルSLAM
- Authors: Delin Qu, Chi Yan, Dong Wang, Jie Yin, Dan Xu, Bin Zhao, Xuelong Li
- Abstract要約: 神経性SLAMは近年顕著な進歩を遂げている。
既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。
本稿では,最初のイベントRGBD暗黙的ニューラルネットワークSLAMフレームワークであるtextbfEN-SLAM$を提案する。
- 参考スコア(独自算出の注目度): 57.48879389141497
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Implicit neural SLAM has achieved remarkable progress recently. Nevertheless,
existing methods face significant challenges in non-ideal scenarios, such as
motion blur or lighting variation, which often leads to issues like convergence
failures, localization drifts, and distorted mapping. To address these
challenges, we propose $\textbf{EN-SLAM}$, the first event-RGBD implicit neural
SLAM framework, which effectively leverages the high rate and high dynamic
range advantages of event data for tracking and mapping. Specifically, EN-SLAM
proposes a differentiable CRF (Camera Response Function) rendering technique to
generate distinct RGB and event camera data via a shared radiance field, which
is optimized by learning a unified implicit representation with the captured
event and RGBD supervision. Moreover, based on the temporal difference property
of events, we propose a temporal aggregating optimization strategy for the
event joint tracking and global bundle adjustment, capitalizing on the
consecutive difference constraints of events, significantly enhancing tracking
accuracy and robustness. Finally, we construct the simulated dataset
$\textbf{DEV-Indoors}$ and real captured dataset $\textbf{DEV-Reals}$
containing 6 scenes, 17 sequences with practical motion blur and lighting
changes for evaluations. Experimental results show that our method outperforms
the SOTA methods in both tracking ATE and mapping ACC with a real-time $17$ FPS
in various challenging environments. The code and dataset will be released
soon.
- Abstract(参考訳): 神経性SLAMは近年顕著な進歩を遂げている。
それにもかかわらず、既存の手法は、動きのぼやけや照明の変動といった非理想的なシナリオにおいて重大な課題に直面しており、しばしば収束障害、局所化ドリフト、歪みマッピングといった問題を引き起こす。
これらの課題に対処するため,最初のイベント-RGBD暗黙的ニューラルネットワークSLAMフレームワークである$\textbf{EN-SLAM}$を提案する。
特に、EN-SLAMは、異なるRGBおよびイベントカメラデータを共有放射場を介して生成する、識別可能なCRF(Camera Response Function)レンダリング技術を提案する。
さらに,イベントの時間的差分特性に基づいて,イベントの連続的差分制約を活かし,イベントジョイントトラッキングとグローバルバンドル調整のための時間的集約最適化戦略を提案し,追跡精度とロバスト性を大幅に向上させる。
最後に、シミュレーションデータセット $\textbf{DEV-Indoors}$と、実際のキャプチャデータセット $\textbf{DEV-Reals}$に、6つのシーン、実用的なモーションボケのある17のシーケンスと、評価のための照明変更を含む。
実験結果から,本手法は ATE の追跡と ACC のマッピングにおいて,様々な難易度環境において,17ドル FPS のリアルタイムマッピングにおいて,SOTA 法よりも優れていることがわかった。
コードとデータセットは間もなくリリースされる。
関連論文リスト
- An Event-Oriented Diffusion-Refinement Method for Sparse Events
Completion [36.64856578682197]
イベントカメラまたはダイナミックビジョンセンサー(DVS)は、従来の強度フレームの代わりに輝度の変化に対する非同期応答を記録する。
本稿では,処理段階と出力形態の両方において,イベントデータのユニークな特性に適合するイベント完了シーケンス手法を提案する。
具体的には,イベントストリームを時間領域内の3次元イベントクラウドとして扱うとともに,高密度の雲を粗大に生成する拡散モデルを構築し,正確なタイムスタンプを復元して生データの時間分解を成功させる。
論文 参考訳(メタデータ) (2024-01-06T08:09:54Z) - EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields [80.94515892378053]
EvDNeRFは、イベントデータを生成し、イベントベースの動的NeRFをトレーニングするためのパイプラインである。
NeRFは幾何学ベースの学習可能なレンダリングを提供するが、イベントの以前の作業は静的なシーンの再構築のみを考慮していた。
各種イベントのバッチサイズをトレーニングすることにより、微細な時間解像度でイベントのテスト時間予測を改善することができることを示す。
論文 参考訳(メタデータ) (2023-10-03T21:08:41Z) - Chasing Day and Night: Towards Robust and Efficient All-Day Object
Detection Guided by an Event Camera [9.190114955178768]
EOLOは、RGBとイベントモダリティの両方を融合させることで、堅牢で効率的な全日検出を実現する、新しいオブジェクト検出フレームワークである。
我々のEOLOフレームワークは、イベントの非同期特性を効率的に活用するために、軽量スパイキングニューラルネットワーク(SNN)に基づいて構築されている。
論文 参考訳(メタデータ) (2023-09-17T15:14:01Z) - Deformable Neural Radiance Fields using RGB and Event Cameras [65.40527279809474]
我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。
提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。
現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
論文 参考訳(メタデータ) (2023-09-15T14:19:36Z) - Generalizing Event-Based Motion Deblurring in Real-World Scenarios [62.995994797897424]
イベントベースの動作遅延は、低レイテンシイベントを活用することで、有望な結果を示している。
本研究では,フレキシブルな入力空間スケールを実現するとともに,時間スケールの異なる動きのぼかしから学習できるスケール対応ネットワークを提案する。
次に,実世界のデータ分布に適合する2段階の自己教師型学習手法を開発した。
論文 参考訳(メタデータ) (2023-08-11T04:27:29Z) - Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and
Events [63.984927609545856]
任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。
提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
論文 参考訳(メタデータ) (2023-04-14T05:30:02Z) - Event-based Image Deblurring with Dynamic Motion Awareness [10.81953574179206]
露光時間における実RGBのぼかし画像と関連する事象のペアを含む最初のデータセットを紹介する。
以上の結果より,PSNRは合成データで1.57dB,実イベントデータで1.08dBまで改善された。
論文 参考訳(メタデータ) (2022-08-24T09:39:55Z) - EventNeRF: Neural Radiance Fields from a Single Colour Event Camera [81.19234142730326]
本稿では, 単色イベントストリームを入力として, 3次元一貫性, 密度, 新規なビュー合成法を提案する。
その中核は、カラーイベントチャンネルのオリジナルの解像度を維持しながら、イベントから完全に自己教師された方法で訓練された神経放射場である。
提案手法をいくつかの難解な合成シーンと実シーンで定性的・数値的に評価し,より密集し,より視覚的に魅力的であることを示す。
論文 参考訳(メタデータ) (2022-06-23T17:59:53Z) - DA4Event: towards bridging the Sim-to-Real Gap for Event Cameras using
Domain Adaptation [22.804074390795734]
イベントカメラは「イベント」の形でピクセルレベルの強度変化を捉えます
これらのセンサーの新規性は、その可能性を解き放つことができる大量のトレーニングデータの欠如をもたらす。
本稿では,フレームベースのイベント表現の特質を活かした新しいアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-03-23T18:09:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。