論文の概要: Event-based Stereo Visual Odometry
- arxiv url: http://arxiv.org/abs/2007.15548v2
- Date: Mon, 22 Feb 2021 14:52:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-05 14:52:42.174145
- Title: Event-based Stereo Visual Odometry
- Title(参考訳): イベントベースステレオ視覚オドメトリ
- Authors: Yi Zhou, Guillermo Gallego, Shaojie Shen
- Abstract要約: ステレオ・イベント・ベースのカメラ・リグが取得したデータから視覚計測の問題に対する解決策を提案する。
我々は,シンプルかつ効率的な表現を用いて,ステレオイベントベースのデータの時間的一貫性を最大化する。
- 参考スコア(独自算出の注目度): 42.77238738150496
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event-based cameras are bio-inspired vision sensors whose pixels work
independently from each other and respond asynchronously to brightness changes,
with microsecond resolution. Their advantages make it possible to tackle
challenging scenarios in robotics, such as high-speed and high dynamic range
scenes. We present a solution to the problem of visual odometry from the data
acquired by a stereo event-based camera rig. Our system follows a parallel
tracking-and-mapping approach, where novel solutions to each subproblem (3D
reconstruction and camera pose estimation) are developed with two objectives in
mind: being principled and efficient, for real-time operation with commodity
hardware. To this end, we seek to maximize the spatio-temporal consistency of
stereo event-based data while using a simple and efficient representation.
Specifically, the mapping module builds a semi-dense 3D map of the scene by
fusing depth estimates from multiple local viewpoints (obtained by
spatio-temporal consistency) in a probabilistic fashion. The tracking module
recovers the pose of the stereo rig by solving a registration problem that
naturally arises due to the chosen map and event data representation.
Experiments on publicly available datasets and on our own recordings
demonstrate the versatility of the proposed method in natural scenes with
general 6-DoF motion. The system successfully leverages the advantages of
event-based cameras to perform visual odometry in challenging illumination
conditions, such as low-light and high dynamic range, while running in
real-time on a standard CPU. We release the software and dataset under an open
source licence to foster research in the emerging topic of event-based SLAM.
- Abstract(参考訳): イベントベースのカメラはバイオインスパイアされた視覚センサーで、ピクセルは互いに独立して動作し、マイクロ秒の解像度で明るさの変化に非同期に反応する。
これらの利点は、高速および高ダイナミックレンジシーンのようなロボット工学における挑戦的なシナリオに取り組むことができる。
ステレオ・イベント・ベースのカメラ・リグが取得したデータから視覚計測の問題に対する解決策を提案する。
本システムでは,各サブプロブレム(3次元再構成とカメラポーズ推定)に対する新しい解法を2つの目的を念頭に置いて開発する並列トラッキング・アンド・マッピング方式を採用している。
この目的のために,ステレオイベントベースのデータの時空間的一貫性をシンプルかつ効率的な表現を用いて最大化する。
特に、マッピングモジュールは、確率的方法で複数の局所的視点(時空間的一貫性によって観察される)からの深さ推定を融合することにより、シーンの半乾燥な3dマップを構築する。
トラッキングモジュールは、選択された地図とイベントデータ表現により自然に発生する登録問題を解決してステレオリグのポーズを回復する。
一般の6-DoF運動を伴う自然シーンにおいて, 公開データセットと記録実験により, 提案手法の汎用性を実証した。
このシステムは、標準CPU上でリアルタイムに実行しながら、低照度や高ダイナミックレンジなどの照明条件に挑戦する視覚的オドメトリーを実現するために、イベントベースのカメラの利点をうまく活用する。
私たちは、ソフトウェアとデータセットをオープンソースライセンス下でリリースし、イベントベースのslamの新たなトピックに関する研究を促進します。
関連論文リスト
- Cross-Modal Semi-Dense 6-DoF Tracking of an Event Camera in Challenging
Conditions [29.608665442108727]
イベントベースのカメラはバイオインスパイアされた視覚センサーであり、HDR条件でよく機能し、時間分解能が高い。
本研究は、代替センサのマッピングが許された場合、純粋にイベントベースのトラッキングの実現可能性を示す。
この手法は、半密度マップとイベントの幾何学的3D-2D登録に依存しており、信頼性が高く正確なクロスモーダル追跡結果が得られる。
論文 参考訳(メタデータ) (2024-01-16T01:48:45Z) - On the Generation of a Synthetic Event-Based Vision Dataset for
Navigation and Landing [69.34740063574921]
本稿では,最適な着陸軌道からイベントベースの視覚データセットを生成する手法を提案する。
我々は,惑星と小惑星の自然シーン生成ユーティリティを用いて,月面のフォトリアリスティックな画像のシーケンスを構築した。
パイプラインは500トラジェクトリのデータセットを構築することで,表面特徴の現実的なイベントベース表現を生成することができることを示す。
論文 参考訳(メタデータ) (2023-08-01T09:14:20Z) - Video Frame Interpolation with Stereo Event and Intensity Camera [40.07341828127157]
高品質な中間フレームを生成するための新しいステレオイベントベースVFIネットワーク(SE-VFI-Net)を提案する。
我々は,正確な光学的流れと不均一性推定を実現するために,融合した特徴を利用する。
提案するSEVFI-Netは最先端の手法よりも大きなマージンで優れている。
論文 参考訳(メタデータ) (2023-07-17T04:02:00Z) - Event-based Stereo Visual Odometry with Native Temporal Resolution via
Continuous-time Gaussian Process Regression [3.4447129363520332]
イベントベースのカメラは、シーン内の個々の視覚的変化をユニークなタイミングでキャプチャする。
視覚計測パイプラインでは、時間的に密接な測定を1つの共通の時間で行うように近似することで、しばしば対処される。
本稿では,グループ化や近似を必要とせず,個々の事象計測時間を直接推定する完全ステレオVOパイプラインを提案する。
論文 参考訳(メタデータ) (2023-06-01T22:57:32Z) - Dual Memory Aggregation Network for Event-Based Object Detection with
Learnable Representation [79.02808071245634]
イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。
イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。
長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
論文 参考訳(メタデータ) (2023-03-17T12:12:41Z) - PL-EVIO: Robust Monocular Event-based Visual Inertial Odometry with
Point and Line Features [3.6355269783970394]
イベントカメラは、フレームレートが固定された強度画像の代わりにピクセルレベルの照明変化をキャプチャするモーションアクティベートセンサーである。
本稿では,ロバストで高精度でリアルタイムな単眼イベントベース視覚慣性オドメトリー(VIO)法を提案する。
論文 参考訳(メタデータ) (2022-09-25T06:14:12Z) - Multi-Event-Camera Depth Estimation and Outlier Rejection by Refocused
Events Fusion [14.15744053080529]
イベントカメラはバイオインスパイアされたセンサーで、従来のカメラよりも有利だ。
SLAMにおけるイベントベースステレオ3D再構成の課題に対処する。
我々は融合理論を開発し、それをマルチカメラ3D再構成アルゴリズムの設計に適用する。
論文 参考訳(メタデータ) (2022-07-21T14:19:39Z) - Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。
イベントベースビジュアル・オドメトリー(VO)に焦点をあてる
動作最適化のバックエンドとして非同期構造を提案する。
論文 参考訳(メタデータ) (2022-03-02T11:28:47Z) - Event-based Motion Segmentation with Spatio-Temporal Graph Cuts [51.17064599766138]
イベントベースカメラで取得したオブジェクトを独立に識別する手法を開発した。
この方法は、予想される移動物体の数を事前に決定することなく、技術状態よりも同等以上の性能を発揮する。
論文 参考訳(メタデータ) (2020-12-16T04:06:02Z) - Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset
for Spatially Varying Isotropic Materials [65.95928593628128]
多視点光度ステレオ技術を用いて3次元形状と空間的に異なる反射率の両方をキャプチャする手法を提案する。
我々のアルゴリズムは、遠近点光源と遠近点光源に適している。
論文 参考訳(メタデータ) (2020-01-18T12:26:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。