論文の概要: Deep Event Visual Odometry
- arxiv url: http://arxiv.org/abs/2312.09800v1
- Date: Fri, 15 Dec 2023 14:00:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-18 15:43:41.162855
- Title: Deep Event Visual Odometry
- Title(参考訳): Deep Event Visual Odometry
- Authors: Simon Klenk, Marvin Motzet, Lukas Koestler, Daniel Cremers
- Abstract要約: イベントカメラは、高速動作中にカメラのポーズを追跡するエキサイティングな可能性を提供します。
既存のイベントベースのモノクロビジュアルオドメトリーアプローチは、最近のベンチマークで限られたパフォーマンスを示している。
我々は,多数の実世界のベンチマークで高い性能を示す最初の単眼イベントオンリーシステムであるDeep Event VO(DEVO)を紹介する。
- 参考スコア(独自算出の注目度): 40.57142632274148
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras offer the exciting possibility of tracking the camera's pose
during high-speed motion and in adverse lighting conditions. Despite this
promise, existing event-based monocular visual odometry (VO) approaches
demonstrate limited performance on recent benchmarks. To address this
limitation, some methods resort to additional sensors such as IMUs, stereo
event cameras, or frame-based cameras. Nonetheless, these additional sensors
limit the application of event cameras in real-world devices since they
increase cost and complicate system requirements. Moreover, relying on a
frame-based camera makes the system susceptible to motion blur and HDR. To
remove the dependency on additional sensors and to push the limits of using
only a single event camera, we present Deep Event VO (DEVO), the first
monocular event-only system with strong performance on a large number of
real-world benchmarks. DEVO sparsely tracks selected event patches over time. A
key component of DEVO is a novel deep patch selection mechanism tailored to
event data. We significantly decrease the pose tracking error on seven
real-world benchmarks by up to 97% compared to event-only methods and often
surpass or are close to stereo or inertial methods. Code is available at
https://github.com/tum-vision/DEVO
- Abstract(参考訳): イベントカメラは、高速な動きや不適切な照明条件下でカメラのポーズを追跡するエキサイティングな可能性を提供します。
この約束にもかかわらず、既存のイベントベースのモノクロビジュアルオドメトリー(VO)アプローチは、最近のベンチマークで限られたパフォーマンスを示している。
この制限に対処するために、IMU、ステレオイベントカメラ、フレームベースのカメラなどの追加センサーを利用する方法もある。
それにもかかわらず、これらの追加センサーは、コストの増大とシステム要件の複雑化により、現実世界のデバイスにおけるイベントカメラの適用を制限する。
さらに、フレームベースのカメラを利用すると、システムは動きのぼやけやHDRの影響を受けやすい。
追加センサへの依存を排除し,単一のイベントカメラのみを使用することの限界を押し上げるために,多数の実世界のベンチマークで強力なパフォーマンスを持つ,最初の単眼イベント専用システムであるDeep Event VO(DEVO)を提案する。
devo sparselyは選択したイベントパッチを時間とともに追跡する。
DEVOの重要なコンポーネントは、イベントデータに合わせた、新しいディープパッチ選択メカニズムである。
我々は,実世界の7つのベンチマークにおけるポーズ追跡誤差を最大97%低減し,ステレオ法や慣性法を上回ったり近かったりすることが多かった。
コードはhttps://github.com/tum-vision/devoで入手できる。
関連論文リスト
- EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。
本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。
提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
論文 参考訳(メタデータ) (2024-10-20T13:44:24Z) - Deblur e-NeRF: NeRF from Motion-Blurred Events under High-speed or Low-light Conditions [56.84882059011291]
動き赤外イベントからぼやけた最小のNeRFを再構成する新しい手法であるDeblur e-NeRFを提案する。
また,大きなテクスチャレスパッチの正規化を改善するために,新しいしきい値正規化全変動損失を導入する。
論文 参考訳(メタデータ) (2024-09-26T15:57:20Z) - A Preliminary Research on Space Situational Awareness Based on Event
Cameras [8.27218838055049]
イベントカメラは、従来のカメラとは異なる新しいタイプのセンサーである。
トリガーイベントは、画素に照射された明るさの変化である。
従来のカメラと比較して、イベントカメラは高時間分解能、低レイテンシ、高ダイナミックレンジ、低帯域幅、低消費電力の利点がある。
論文 参考訳(メタデータ) (2022-03-24T14:36:18Z) - E$^2$(GO)MOTION: Motion Augmented Event Stream for Egocentric Action
Recognition [21.199869051111367]
イベントカメラは「イベント」の形でピクセルレベルの強度変化を捉えます
N-EPIC-Kitchensは、大規模なEPIC-Kitchensデータセットの最初のイベントベースのカメラ拡張である。
イベントデータは、RGBと光フローに匹敵するパフォーマンスを提供するが、デプロイ時に追加のフロー計算を行わないことを示す。
論文 参考訳(メタデータ) (2021-12-07T09:43:08Z) - ESL: Event-based Structured Light [62.77144631509817]
イベントカメラはバイオインスパイアされたセンサーであり、標準的なカメラよりも大きな利点がある。
本稿では,イベントカメラを用いた新しい構造化光システムを提案し,高精度かつ高速な深度センシングの課題に対処する。
論文 参考訳(メタデータ) (2021-11-30T15:47:39Z) - Moving Object Detection for Event-based vision using Graph Spectral
Clustering [6.354824287948164]
移動物体検出は、幅広い応用のためのコンピュータビジョンにおける中心的な話題となっている。
イベントベースデータにおける移動物体検出のための教師なしグラフスペクトルクラスタリング手法を提案する。
さらに,移動物体の最適個数を自動決定する方法について述べる。
論文 参考訳(メタデータ) (2021-09-30T10:19:22Z) - EVReflex: Dense Time-to-Impact Prediction for Event-based Obstacle
Avoidance [28.88113725832339]
イベントと深さの融合は、障害回避を行う際の個々のモダリティの障害ケースを克服することを示す。
提案手法は,イベントカメラとライダーストリームを一体化して,シーン形状や障害物の事前知識を必要とせずに計測時間とインパクトを推定する。
論文 参考訳(メタデータ) (2021-09-01T14:34:20Z) - EventHands: Real-Time Neural 3D Hand Reconstruction from an Event Stream [80.15360180192175]
単眼ビデオからの3d手ポーズ推定は、長年の課題である。
我々は1つのイベントカメラ、すなわち明るさ変化に反応する非同期視覚センサを使用して、初めてそれに対処する。
従来,単一のrgbカメラや深度カメラでは表示されなかった特徴がある。
論文 参考訳(メタデータ) (2020-12-11T16:45:34Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-10-16T12:36:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。