論文の概要: Event-based Stereo Visual Odometry
- arxiv url: http://arxiv.org/abs/2007.15548v2
- Date: Mon, 22 Feb 2021 14:52:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-05 14:52:42.174145
- Title: Event-based Stereo Visual Odometry
- Title(参考訳): イベントベースステレオ視覚オドメトリ
- Authors: Yi Zhou, Guillermo Gallego, Shaojie Shen
- Abstract要約: ステレオ・イベント・ベースのカメラ・リグが取得したデータから視覚計測の問題に対する解決策を提案する。
我々は,シンプルかつ効率的な表現を用いて,ステレオイベントベースのデータの時間的一貫性を最大化する。
- 参考スコア(独自算出の注目度): 42.77238738150496
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event-based cameras are bio-inspired vision sensors whose pixels work
independently from each other and respond asynchronously to brightness changes,
with microsecond resolution. Their advantages make it possible to tackle
challenging scenarios in robotics, such as high-speed and high dynamic range
scenes. We present a solution to the problem of visual odometry from the data
acquired by a stereo event-based camera rig. Our system follows a parallel
tracking-and-mapping approach, where novel solutions to each subproblem (3D
reconstruction and camera pose estimation) are developed with two objectives in
mind: being principled and efficient, for real-time operation with commodity
hardware. To this end, we seek to maximize the spatio-temporal consistency of
stereo event-based data while using a simple and efficient representation.
Specifically, the mapping module builds a semi-dense 3D map of the scene by
fusing depth estimates from multiple local viewpoints (obtained by
spatio-temporal consistency) in a probabilistic fashion. The tracking module
recovers the pose of the stereo rig by solving a registration problem that
naturally arises due to the chosen map and event data representation.
Experiments on publicly available datasets and on our own recordings
demonstrate the versatility of the proposed method in natural scenes with
general 6-DoF motion. The system successfully leverages the advantages of
event-based cameras to perform visual odometry in challenging illumination
conditions, such as low-light and high dynamic range, while running in
real-time on a standard CPU. We release the software and dataset under an open
source licence to foster research in the emerging topic of event-based SLAM.
- Abstract(参考訳): イベントベースのカメラはバイオインスパイアされた視覚センサーで、ピクセルは互いに独立して動作し、マイクロ秒の解像度で明るさの変化に非同期に反応する。
これらの利点は、高速および高ダイナミックレンジシーンのようなロボット工学における挑戦的なシナリオに取り組むことができる。
ステレオ・イベント・ベースのカメラ・リグが取得したデータから視覚計測の問題に対する解決策を提案する。
本システムでは,各サブプロブレム(3次元再構成とカメラポーズ推定)に対する新しい解法を2つの目的を念頭に置いて開発する並列トラッキング・アンド・マッピング方式を採用している。
この目的のために,ステレオイベントベースのデータの時空間的一貫性をシンプルかつ効率的な表現を用いて最大化する。
特に、マッピングモジュールは、確率的方法で複数の局所的視点(時空間的一貫性によって観察される)からの深さ推定を融合することにより、シーンの半乾燥な3dマップを構築する。
トラッキングモジュールは、選択された地図とイベントデータ表現により自然に発生する登録問題を解決してステレオリグのポーズを回復する。
一般の6-DoF運動を伴う自然シーンにおいて, 公開データセットと記録実験により, 提案手法の汎用性を実証した。
このシステムは、標準CPU上でリアルタイムに実行しながら、低照度や高ダイナミックレンジなどの照明条件に挑戦する視覚的オドメトリーを実現するために、イベントベースのカメラの利点をうまく活用する。
私たちは、ソフトウェアとデータセットをオープンソースライセンス下でリリースし、イベントベースのslamの新たなトピックに関する研究を促進します。
関連論文リスト
- EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。
本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。
提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
論文 参考訳(メタデータ) (2024-10-20T13:44:24Z) - ESVO2: Direct Visual-Inertial Odometry with Stereo Event Cameras [33.81592783496106]
イベントベースのビジュアルオドメトリーは、トラッキングとサブプロブレムを並列にマッピングすることを目的としている。
イベントベースのステレオビジュアル慣性オドメトリーシステムを構築した。
論文 参考訳(メタデータ) (2024-10-12T05:35:27Z) - MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。
各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。
我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
論文 参考訳(メタデータ) (2024-10-04T18:00:07Z) - IMU-Aided Event-based Stereo Visual Odometry [7.280676899773076]
我々は、精度と効率の点で、以前のダイレクトパイプラインの textitEvent ベースの Stereo Visual Odometry を改善しました。
マッピング操作を高速化するために,イベントの局所的ダイナミクスに応じたエッジピクセルサンプリングの効率的な戦略を提案する。
この分野での今後の研究のためのオープンソースソフトウェアとして、パイプラインをリリースします。
論文 参考訳(メタデータ) (2024-05-07T07:19:25Z) - Cross-Modal Semi-Dense 6-DoF Tracking of an Event Camera in Challenging
Conditions [29.608665442108727]
イベントベースのカメラはバイオインスパイアされた視覚センサーであり、HDR条件でよく機能し、時間分解能が高い。
本研究は、代替センサのマッピングが許された場合、純粋にイベントベースのトラッキングの実現可能性を示す。
この手法は、半密度マップとイベントの幾何学的3D-2D登録に依存しており、信頼性が高く正確なクロスモーダル追跡結果が得られる。
論文 参考訳(メタデータ) (2024-01-16T01:48:45Z) - On the Generation of a Synthetic Event-Based Vision Dataset for
Navigation and Landing [69.34740063574921]
本稿では,最適な着陸軌道からイベントベースの視覚データセットを生成する手法を提案する。
我々は,惑星と小惑星の自然シーン生成ユーティリティを用いて,月面のフォトリアリスティックな画像のシーケンスを構築した。
パイプラインは500トラジェクトリのデータセットを構築することで,表面特徴の現実的なイベントベース表現を生成することができることを示す。
論文 参考訳(メタデータ) (2023-08-01T09:14:20Z) - Video Frame Interpolation with Stereo Event and Intensity Camera [40.07341828127157]
高品質な中間フレームを生成するための新しいステレオイベントベースVFIネットワーク(SE-VFI-Net)を提案する。
我々は,正確な光学的流れと不均一性推定を実現するために,融合した特徴を利用する。
提案するSEVFI-Netは最先端の手法よりも大きなマージンで優れている。
論文 参考訳(メタデータ) (2023-07-17T04:02:00Z) - PL-EVIO: Robust Monocular Event-based Visual Inertial Odometry with
Point and Line Features [3.6355269783970394]
イベントカメラは、フレームレートが固定された強度画像の代わりにピクセルレベルの照明変化をキャプチャするモーションアクティベートセンサーである。
本稿では,ロバストで高精度でリアルタイムな単眼イベントベース視覚慣性オドメトリー(VIO)法を提案する。
論文 参考訳(メタデータ) (2022-09-25T06:14:12Z) - Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。
イベントベースビジュアル・オドメトリー(VO)に焦点をあてる
動作最適化のバックエンドとして非同期構造を提案する。
論文 参考訳(メタデータ) (2022-03-02T11:28:47Z) - Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset
for Spatially Varying Isotropic Materials [65.95928593628128]
多視点光度ステレオ技術を用いて3次元形状と空間的に異なる反射率の両方をキャプチャする手法を提案する。
我々のアルゴリズムは、遠近点光源と遠近点光源に適している。
論文 参考訳(メタデータ) (2020-01-18T12:26:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。