論文の概要: EV-MGDispNet: Motion-Guided Event-Based Stereo Disparity Estimation Network with Left-Right Consistency
- arxiv url: http://arxiv.org/abs/2408.05452v1
- Date: Sat, 10 Aug 2024 06:13:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 18:51:22.723709
- Title: EV-MGDispNet: Motion-Guided Event-Based Stereo Disparity Estimation Network with Left-Right Consistency
- Title（参考訳）: EV-MGDispNet:移動誘導イベントベースステレオ異方性推定ネットワーク
- Authors: Junjie Jiang, Hao Zhuang, Xinjie Huang, Delei Kong, Zheng Fang,
- Abstract要約: イベントカメラはロボットビジョンの分野に革命をもたらす可能性がある。
イベントベースの新しいステレオ異性度推定法であるEV-MGDispNetを提案する。
本手法は, 平均絶対誤差(MAE)と根平均二乗誤差(RMSE)の指標で, 現在知られている最先端の手法より優れている。
- 参考スコア（独自算出の注目度）: 4.849111230195686
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras have the potential to revolutionize the field of robot vision, particularly in areas like stereo disparity estimation, owing to their high temporal resolution and high dynamic range. Many studies use deep learning for event camera stereo disparity estimation. However, these methods fail to fully exploit the temporal information in the event stream to acquire clear event representations. Additionally, there is room for further reduction in pixel shifts in the feature maps before constructing the cost volume. In this paper, we propose EV-MGDispNet, a novel event-based stereo disparity estimation method. Firstly, we propose an edge-aware aggregation (EAA) module, which fuses event frames and motion confidence maps to generate a novel clear event representation. Then, we propose a motion-guided attention (MGA) module, where motion confidence maps utilize deformable transformer encoders to enhance the feature map with more accurate edges. Finally, we also add a census left-right consistency loss function to enhance the left-right consistency of stereo event representation. Through conducting experiments within challenging real-world driving scenarios, we validate that our method outperforms currently known state-of-the-art methods in terms of mean absolute error (MAE) and root mean square error (RMSE) metrics.
- Abstract（参考訳）: イベントカメラはロボットビジョンの分野、特に高時間分解能と高ダイナミックレンジのため、ステレオ不均一性推定のような分野に革命をもたらす可能性がある。
多くの研究では、イベントカメラステレオ不均等推定にディープラーニングを使用している。
しかし、これらの手法は、イベントストリーム内の時間情報を完全に活用して、明確なイベント表現を取得することができない。
さらに、コストボリュームを構築する前に、特徴マップの画素シフトをさらに削減する余地がある。
本稿では,新しいイベントベースステレオディパリティ推定法であるEV-MGDispNetを提案する。
まず、イベントフレームとモーション信頼マップを融合させて、新しい明確なイベント表現を生成するエッジ・アウェア・アグリゲーション(EAA)モジュールを提案する。
そこで我々は, 変形可能な変圧器エンコーダを用いて, より正確なエッジで特徴写像を向上する, 動き誘導型アテンション(MGA)モジュールを提案する。
最後に、ステレオイベント表現の左右の整合性を高めるために、国勢調査の左右の整合性損失関数を追加する。
実世界の運転シナリオにおいて実験を行うことで,本手法が既知の最先端手法よりも平均絶対誤差(MAE)と平均二乗誤差(RMSE)の指標で優れていることを確認した。
関連論文リスト
- Spatio-temporal Transformers for Action Unit Classification with Event Cameras [28.98336123799572]
本稿では,RGBビデオとイベントストリームからなる時間同期型マルチモーダル顔データセットであるFACEMORPHICを提案する。
映像を手動でアノテートすることなく、時間同期が効果的なニューロモルフィック顔分析を可能にすることを示す。
論文 参考訳（メタデータ） (2024-10-29T11:23:09Z) - EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。
本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。
提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
論文 参考訳（メタデータ） (2024-10-20T13:44:24Z) - ESVO2: Direct Visual-Inertial Odometry with Stereo Event Cameras [33.81592783496106]
イベントベースのビジュアルオドメトリーは、トラッキングとサブプロブレムを並列にマッピングすることを目的としている。
イベントベースのステレオビジュアル慣性オドメトリーシステムを構築した。
論文 参考訳（メタデータ） (2024-10-12T05:35:27Z) - Temporal Event Stereo via Joint Learning with Stereoscopic Flow [44.479946706395694]
イベントカメラは生体網膜にインスパイアされた動的視覚センサーである。
本稿では,新しい時間的イベントステレオフレームワークを提案する。
我々はMVSECとDSECデータセットで最先端のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2024-07-15T15:43:08Z) - IMU-Aided Event-based Stereo Visual Odometry [7.280676899773076]
我々は、精度と効率の点で、以前のダイレクトパイプラインの textitEvent ベースの Stereo Visual Odometry を改善しました。
マッピング操作を高速化するために,イベントの局所的ダイナミクスに応じたエッジピクセルサンプリングの効率的な戦略を提案する。
この分野での今後の研究のためのオープンソースソフトウェアとして、パイプラインをリリースします。
論文 参考訳（メタデータ） (2024-05-07T07:19:25Z) - Stereo Matching in Time: 100+ FPS Video Stereo Matching for Extended
Reality [65.70936336240554]
リアルタイムステレオマッチング(Real-time Stereo Matching)は、屋内3D理解、ビデオパススルー、混合現実感ゲームなど、多くの拡張現実感(XR)アプリケーションのための基盤となるアルゴリズムである。
最大の課題の1つは、ヘッドマウントのVR/ARメガネによってキャプチャされた高品質な屋内ビデオステレオトレーニングデータセットの欠如である。
室内シーンのレンダリングと6-DoF移動VR/ARヘッドマウントディスプレイ(HMD)によるリアルなカメラモーションを含む,新しいステレオ合成データセットを提案する。
これにより既存のアプローチの評価が促進され、屋内拡張現実シナリオのさらなる研究が促進される。
論文 参考訳（メタデータ） (2023-09-08T07:53:58Z) - EventTransAct: A video transformer-based framework for Event-camera
based action recognition [52.537021302246664]
イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。
本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。
イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
論文 参考訳（メタデータ） (2023-08-25T23:51:07Z) - Dual Memory Aggregation Network for Event-Based Object Detection with
Learnable Representation [79.02808071245634]
イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。
イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。
長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
論文 参考訳（メタデータ） (2023-03-17T12:12:41Z) - Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。
イベントベースビジュアル・オドメトリー(VO)に焦点をあてる
動作最適化のバックエンドとして非同期構造を提案する。
論文 参考訳（メタデータ） (2022-03-02T11:28:47Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-10-16T12:36:23Z) - Event-based Stereo Visual Odometry [42.77238738150496]
ステレオ・イベント・ベースのカメラ・リグが取得したデータから視覚計測の問題に対する解決策を提案する。
我々は,シンプルかつ効率的な表現を用いて,ステレオイベントベースのデータの時間的一貫性を最大化する。
論文 参考訳（メタデータ） (2020-07-30T15:53:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。