論文の概要: Towards Ultrafast Depth Sensing Via Active Event-based Stereo Vision
- arxiv url: http://arxiv.org/abs/2607.23684v1
- Date: Sun, 26 Jul 2026 14:32:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.189742
- Title: Towards Ultrafast Depth Sensing Via Active Event-based Stereo Vision
- Title(参考訳): アクティブイベントベースステレオビジョンによる超高速深度センシングに向けて
- Abstract要約: 両眼のイベントカメラと赤外線2Dパターンプロジェクタを統合して高密度深度センシングを実現する,アクティブなイベントベースステレオビジョンを提案する。
我々は15Hzで21.5k以上の同期ラベルを持つ実世界のデータセットを提示し、ステレオイベントストリームと23.8kの同期ラベルを持つ合成データセットを20Hzで構築する。
特に、軽量なActiveEventNetにより、プロトタイプシステムは最大150FPSでリアルタイム処理を実現できる。
- 参考スコア(独自算出の注目度): 54.613132560878455
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conventional frame-based imaging for active stereo systems has encountered major challenges in fast-motion scenarios. However, how to design a novel paradigm for ultrafast depth sensing remains an open issue. In this paper, we propose a novel problem setting, namely active event-based stereo vision, which attempts to integrate binocular event cameras and an infrared 2D pattern projector for high-speed dense depth sensing. Technically, we first build a stereo camera prototype system and present a real-world dataset with over 21.5k spatiotemporal synchronized labels at 15 Hz, while also establishing a realistic synthetic dataset with stereo event streams and 23.8k synchronized labels at 20 Hz. Then, we propose ActiveEventNet+, a lightweight yet effective event-based stereo matching neural network that learns to generate high-quality dense disparity maps from stereo event streams with low latency. Our ActiveEventNet+ mainly involves three innovations: incorporating lightweight blocks into event-based stereo matching frameworks, designing a novel cost volume with dynamic interactions between stereo pairs, and presenting an effective temporal consistency architecture to fully use rich temporal cues in event streams. The results show that our ActiveEventNet+ outperforms state-of-the-art methods while significantly reducing computational complexity. Our solution offers superior depth sensing performance compared to conventional frame-based stereo cameras in high-speed scenes. In particular, the lightweight ActiveEventNet enables the prototype system to achieve real-time processing at speeds up to 150 FPS. We believe that this novel active event-based stereo vision paradigm can provide new insights into the design of future high-speed depth sensing camera systems. Our dataset and code can be available at https://github.com/jianing-li/active_event_based_stereo.
- Abstract(参考訳): アクティブステレオシステムのための従来のフレームベースイメージングは、高速移動シナリオにおいて大きな課題に直面している。
しかし、超高速深度センシングのための新しいパラダイムを設計する方法は未解決のままである。
本稿では,両眼のイベントカメラと赤外線2Dパターンプロジェクタを統合して高密度深度センシングを実現する,アクティブなイベントベースステレオビジョンを提案する。
技術面では、まずステレオカメラのプロトタイプシステムを構築し、15Hzで21.5k以上の時空間同期ラベルを持つ実世界のデータセットを提示するとともに、ステレオイベントストリームと20Hzで23.8kの同期ラベルを持つリアルな合成データセットを構築した。
次に、低レイテンシでステレオイベントストリームから高品質な高密度不均一マップを生成することを学習する、軽量で効果的なイベントベースステレオマッチングニューラルネットワークであるActiveEventNet+を提案する。
私たちのActiveEventNet+は、イベントベースのステレオマッチングフレームワークに軽量ブロックを組み込むこと、ステレオペア間の動的相互作用による新しいコストボリュームを設計すること、イベントストリームでリッチな時間的キューをフル活用するための効果的な時間的一貫性アーキテクチャを提供すること、の3つのイノベーションを主に含んでいます。
その結果、ActiveEventNet+は最先端の手法より優れており、計算の複雑さを著しく低減しています。
提案手法は,高速シーンにおける従来のフレームベースステレオカメラと比較して,奥行き検知性能が優れている。
特に、軽量なActiveEventNetにより、プロトタイプシステムは最大150FPSでリアルタイム処理を実現できる。
この新しいアクティブなイベントベースステレオビジョンパラダイムは、将来の高速深度検知カメラシステムの設計に新たな洞察を与えることができると信じている。
データセットとコードはhttps://github.com/jianing-li/active_event_based_stereo.comから入手可能です。
関連論文リスト
- EventGait: Towards Robust Gait Recognition with Event Streams [50.890621860023]
イベントカメラは、マイクロ秒時間分解能と高ダイナミックレンジを提供し、自然にロバストなダイナミックキューをキャプチャし、静的ノイズを抑制する。
イベントの利点を保ちながら、動きと形状を別々にモデル化する、エンドツーエンドのデュアルストリームフレームワークである textbfEventGait を提案する。
当社のアプローチでは,イベント駆動歩行分析の堅牢性と可能性を強調し,合成および実世界の歩行ベンチマークに新たな技術状況が設定されている。
論文 参考訳(メタデータ) (2026-05-21T08:12:04Z) - Event-Based Visual Teach-and-Repeat via Fast Fourier-Domain Cross-Correlation [52.46888249268445]
本稿では,最初のイベントカメラを用いた視覚指導・再生システムを提案する。
本研究では,イベントストリームマッチング問題を計算効率の良い空間乗算に変換する周波数領域相互相関フレームワークを開発した。
Prophesee EVK4 HDイベントカメラをAgileX Scout Miniロボットに搭載した実験では、自律走行が成功している。
論文 参考訳(メタデータ) (2025-09-21T23:53:31Z) - Temporal Event Stereo via Joint Learning with Stereoscopic Flow [44.479946706395694]
イベントカメラは生体網膜にインスパイアされた動的視覚センサーである。
本稿では,新しい時間的イベントステレオフレームワークを提案する。
我々はMVSECとDSECデータセットで最先端のパフォーマンスを達成した。
論文 参考訳(メタデータ) (2024-07-15T15:43:08Z) - Learning Parallax for Stereo Event-based Motion Deblurring [8.201943408103995]
既存のアプローチは、インテンシティ・イメージとイベントの間の完全なピクセルワイド・アライメントに依存している。
我々は,Stereoイベントと強度カメラ(St-EDNet)を併用したイベントベース動作のNetwork of Event-based motionを提案する。
我々はSTEIC(Stereo Event and Intensity Cameras)を用いた新しいデータセットを構築し、現実世界のイベント、強度画像、密度の異なるマップを含む。
論文 参考訳(メタデータ) (2023-09-18T06:51:41Z) - Video Frame Interpolation with Stereo Event and Intensity Camera [40.07341828127157]
高品質な中間フレームを生成するための新しいステレオイベントベースVFIネットワーク(SE-VFI-Net)を提案する。
我々は,正確な光学的流れと不均一性推定を実現するために,融合した特徴を利用する。
提案するSEVFI-Netは最先端の手法よりも大きなマージンで優れている。
論文 参考訳(メタデータ) (2023-07-17T04:02:00Z) - EV-Catcher: High-Speed Object Catching Using Low-latency Event-based
Neural Networks [107.62975594230687]
イベントカメラが優れており、高速移動物体の衝突位置を正確に推定するアプリケーションを実証する。
イベントデータを低レイテンシでエンコードするために,Binary Event History Image(BEHI)と呼ばれる軽量なイベント表現を導入する。
計算制約のある組込みプラットフォーム上でも最大13m/sの速さで, 異なる場所をターゲットとした球のキャッチにおいて, 81%の成功率を達成することができることを示す。
論文 参考訳(メタデータ) (2023-04-14T15:23:28Z) - Dual Memory Aggregation Network for Event-Based Object Detection with
Learnable Representation [79.02808071245634]
イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。
イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。
長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
論文 参考訳(メタデータ) (2023-03-17T12:12:41Z) - 3D-FlowNet: Event-based optical flow estimation with 3D representation [2.062593640149623]
イベントベースのカメラは、高速モーション検出などの重要なタスクのためにフレームベースのカメラ制限を克服することができる。
ディープニューラルネットワークは、非同期で離散的なイベントデータを扱うようには適していない。
本稿では,3次元入力表現を処理し,光フロー推定を出力できる新しいネットワークアーキテクチャである3D-FlowNetを提案する。
論文 参考訳(メタデータ) (2022-01-28T17:28:15Z) - ESL: Event-based Structured Light [62.77144631509817]
イベントカメラはバイオインスパイアされたセンサーであり、標準的なカメラよりも大きな利点がある。
本稿では,イベントカメラを用いた新しい構造化光システムを提案し,高精度かつ高速な深度センシングの課題に対処する。
論文 参考訳(メタデータ) (2021-11-30T15:47:39Z) - VisEvent: Reliable Object Tracking via Collaboration of Frame and Event
Flows [93.54888104118822]
このタスクには現実的でスケールしたデータセットがないため、大規模なVisible-Eventベンチマーク(VisEventと呼ぶ)を提案する。
私たちのデータセットは、低照度、高速、背景乱雑なシナリオ下でキャプチャされた820のビデオペアで構成されています。
VisEventに基づいて、イベントフローをイベントイメージに変換し、30以上のベースラインメソッドを構築します。
論文 参考訳(メタデータ) (2021-08-11T03:55:12Z) - Event-based Stereo Visual Odometry [42.77238738150496]
ステレオ・イベント・ベースのカメラ・リグが取得したデータから視覚計測の問題に対する解決策を提案する。
我々は,シンプルかつ効率的な表現を用いて,ステレオイベントベースのデータの時間的一貫性を最大化する。
論文 参考訳(メタデータ) (2020-07-30T15:53:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。