論文の概要: Cross-Modal Semi-Dense 6-DoF Tracking of an Event Camera in Challenging Conditions

• arxiv url: http://arxiv.org/abs/2401.08043v1
• Date: Tue, 16 Jan 2024 01:48:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 15:23:16.358357
• Title: Cross-Modal Semi-Dense 6-DoF Tracking of an Event Camera in Challenging Conditions
• Title（参考訳）: 混在状態におけるイベントカメラのクロスモーダルセミディエンス6-DoF追跡
• Authors: Yi-Fan Zuo, Wanting Xu, Xia Wang, Yifu Wang, Laurent Kneip
• Abstract要約: イベントベースのカメラはバイオインスパイアされた視覚センサーであり、HDR条件でよく機能し、時間分解能が高い。 本研究は、代替センサのマッピングが許された場合、純粋にイベントベースのトラッキングの実現可能性を示す。 この手法は、半密度マップとイベントの幾何学的3D-2D登録に依存しており、信頼性が高く正確なクロスモーダル追跡結果が得られる。
• 参考スコア（独自算出の注目度）: 29.608665442108727
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-based localization is a cost-effective and thus attractive solution for many intelligent mobile platforms. However, its accuracy and especially robustness still suffer from low illumination conditions, illumination changes, and aggressive motion. Event-based cameras are bio-inspired visual sensors that perform well in HDR conditions and have high temporal resolution, and thus provide an interesting alternative in such challenging scenarios. While purely event-based solutions currently do not yet produce satisfying mapping results, the present work demonstrates the feasibility of purely event-based tracking if an alternative sensor is permitted for mapping. The method relies on geometric 3D-2D registration of semi-dense maps and events, and achieves highly reliable and accurate cross-modal tracking results. Practically relevant scenarios are given by depth camera-supported tracking or map-based localization with a semi-dense map prior created by a regular image-based visual SLAM or structure-from-motion system. Conventional edge-based 3D-2D alignment is extended by a novel polarity-aware registration that makes use of signed time-surface maps (STSM) obtained from event streams. We furthermore introduce a novel culling strategy for occluded points. Both modifications increase the speed of the tracker and its robustness against occlusions or large view-point variations. The approach is validated on many real datasets covering the above-mentioned challenging conditions, and compared against similar solutions realised with regular cameras.
• Abstract（参考訳）: 視覚ベースのローカライゼーションは多くのインテリジェントなモバイルプラットフォームにとってコスト効率が高く魅力的なソリューションである。 しかし、その正確さと特に頑健さは依然として低い照明条件、照明の変化、攻撃的な動きに苦しむ。 イベントベースのカメラは、HDR条件下でよく機能し、時間分解能が高いバイオインスパイアされた視覚センサであり、このような困難なシナリオにおいて興味深い代替手段を提供する。 純粋にイベントベースのソリューションは、現在まだマッピングの結果を満足できないが、本研究では、代替センサーがマッピングに許可されている場合、純粋にイベントベースのトラッキングが実現可能であることを実証する。 この手法は、半密度マップとイベントの幾何学的3D-2D登録に依存し、信頼性が高く正確なクロスモーダル追跡結果が得られる。 実際に関連するシナリオは、デプスカメラが支援するトラッキングや、通常の画像ベースの視覚SLAMや構造移動システムによって以前に作成された半深度マップによるマップベースのローカライゼーションによって与えられる。 従来のエッジベースの3D-2Dアライメントは、イベントストリームから得られる符号付き時間面マップ(STSM)を利用する新しい極性認識登録によって拡張される。 さらに,隠蔽点に対する新たなカリング戦略を導入する。 どちらの修正も、トラッカーの速度と、オクルージョンや大きな視点の変化に対する堅牢性を高める。 このアプローチは、上記の課題条件をカバーする多くの実際のデータセットで検証され、通常のカメラで実現した同様のソリューションと比較される。

関連論文リスト

• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• ESVO2: Direct Visual-Inertial Odometry with Stereo Event Cameras [33.81592783496106]
  イベントベースのビジュアルオドメトリーは、トラッキングとサブプロブレムを並列にマッピングすることを目的としている。 イベントベースのステレオビジュアル慣性オドメトリーシステムを構築した。
  論文  参考訳（メタデータ） (2024-10-12T05:35:27Z)
• EVIT: Event-based Visual-Inertial Tracking in Semi-Dense Maps Using Windowed Nonlinear Optimization [19.915476815328294]
  イベントカメラは、絶対的な画像強度を統合するのではなく、明るさの変化に反応する興味深い視覚的知覚センサーである。 本報告では, 推定精度を高めるため, 慣性信号の追加を提案する。 本評価では,さまざまな実世界のシーケンスに焦点をあて,異なるレートで実行されるイベントベースの代替手段との比較を行った。
  論文  参考訳（メタデータ） (2024-08-02T16:24:55Z)
• 3D Pose Estimation of Two Interacting Hands from a Monocular Event Camera [59.846927201816776]
  本稿では,1つの単眼イベントカメラから手の動きの速い2つの手の動きを3次元追跡するための最初のフレームワークを紹介する。 本手法は, 半教師付き機能的注意機構により, 左手のあいまいさに対処し, 交差点の損失を補足して手衝突を解消する。
  論文  参考訳（メタデータ） (2023-12-21T18:59:57Z)
• EVI-SAM: Robust, Real-time, Tightly-coupled Event-Visual-Inertial State Estimation and 3D Dense Mapping [5.154689086578339]
  単眼イベントカメラを用いた6自由度ポーズトラッキングと3次元再構成の課題に対処するために,EVI-SAMを提案する。 新しいイベントベースのハイブリッドトラッキングフレームワークは、特徴マッチングの堅牢性と直接アライメントの精度を活用することで、ポーズを推定するように設計されている。 私たちの知る限りでは、イベントベースの高密度マッピングを実現するための非学習作業としてはこれが初めてです。
  論文  参考訳（メタデータ） (2023-12-19T07:39:45Z)
• Implicit Event-RGBD Neural SLAM [54.74363487009845]
  神経性SLAMは近年顕著な進歩を遂げている。 既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。 本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
  論文  参考訳（メタデータ） (2023-11-18T08:48:58Z)
• Dual Memory Aggregation Network for Event-Based Object Detection with Learnable Representation [79.02808071245634]
  イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。 イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。 長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
  論文  参考訳（メタデータ） (2023-03-17T12:12:41Z)
• Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
  イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。 イベントベースビジュアル・オドメトリー(VO)に焦点をあてる 動作最適化のバックエンドとして非同期構造を提案する。
  論文  参考訳（メタデータ） (2022-03-02T11:28:47Z)
• DEVO: Depth-Event Camera Visual Odometry in Challenging Conditions [30.892930944644853]
  本稿では,深度・高解像度イベントカメラのステレオ設定のための新しいリアルタイムビジュアル・オドメトリー・フレームワークを提案する。 本フレームワークは, 計算効率に対する精度と堅牢性を, 挑戦シナリオにおける高い性能にバランスさせる。
  論文  参考訳（メタデータ） (2022-02-05T13:46:47Z)
• Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
  周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。 移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-12T15:30:02Z)
• Event-based Stereo Visual Odometry [42.77238738150496]
  ステレオ・イベント・ベースのカメラ・リグが取得したデータから視覚計測の問題に対する解決策を提案する。 我々は,シンプルかつ効率的な表現を用いて,ステレオイベントベースのデータの時間的一貫性を最大化する。
  論文  参考訳（メタデータ） (2020-07-30T15:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。