論文の概要: Rethinking Efficient and Effective Point-based Networks for Event Camera Classification and Regression: EventMamba
- arxiv url: http://arxiv.org/abs/2405.06116v4
- Date: Fri, 28 Mar 2025 14:25:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-31 18:43:50.846184
- Title: Rethinking Efficient and Effective Point-based Networks for Event Camera Classification and Regression: EventMamba
- Title（参考訳）: イベントカメラ分類と回帰のための効率的かつ効果的なポイントベースネットワークの再考:EventMamba
- Authors: Hongwei Ren, Yue Zhou, Jiadong Zhu, Haotian Fu, Yulong Huang, Xiaopeng Lin, Yuetong Fang, Fei Ma, Hao Yu, Bojun Cheng,
- Abstract要約: イベントカメラは生物学的システムからインスピレーションを受け、低レイテンシと高ダイナミックレンジを持ち、最小限の電力を消費する。
Event Cloudの処理に対する現在のアプローチは、フレームベースの表現に変換することが多い。
我々はPoint Cloud表現に基づく効率的かつ効果的なフレームワークであるEventMambaを提案する。
- 参考スコア（独自算出の注目度）: 11.400397931501338
- License:
- Abstract: Event cameras draw inspiration from biological systems, boasting low latency and high dynamic range while consuming minimal power. The most current approach to processing Event Cloud often involves converting it into frame-based representations, which neglects the sparsity of events, loses fine-grained temporal information, and increases the computational burden. In contrast, Point Cloud is a popular representation for processing 3-dimensional data and serves as an alternative method to exploit local and global spatial features. Nevertheless, previous point-based methods show an unsatisfactory performance compared to the frame-based method in dealing with spatio-temporal event streams. In order to bridge the gap, we propose EventMamba, an efficient and effective framework based on Point Cloud representation by rethinking the distinction between Event Cloud and Point Cloud, emphasizing vital temporal information. The Event Cloud is subsequently fed into a hierarchical structure with staged modules to process both implicit and explicit temporal features. Specifically, we redesign the global extractor to enhance explicit temporal extraction among a long sequence of events with temporal aggregation and State Space Model (SSM) based Mamba. Our model consumes minimal computational resources in the experiments and still exhibits SOTA point-based performance on six different scales of action recognition datasets. It even outperformed all frame-based methods on both Camera Pose Relocalization (CPR) and eye-tracking regression tasks. Our code is available at: https://github.com/rhwxmx/EventMamba.
- Abstract（参考訳）: イベントカメラは生物学的システムからインスピレーションを受け、低レイテンシと高ダイナミックレンジを持ち、最小限の電力を消費する。
Event Cloudの処理における最新のアプローチは、多くの場合、イベントの空間性を無視し、きめ細かい時間情報を失い、計算負担を増大させるフレームベースの表現に変換する。
対照的に、Point Cloudは3次元データを処理するための一般的な表現であり、局所的およびグローバルな空間的特徴を利用する代替手法として機能する。
それにもかかわらず、従来のポイントベース手法は、時空間イベントストリームを扱うフレームベースの手法と比較して不満足な性能を示す。
このギャップを埋めるために,イベントクラウドとポイントクラウドの区別を再考することで,ポイントクラウド表現に基づく効率的かつ効果的なフレームワークであるEventMambaを提案する。
Event Cloudはその後、暗黙的な時間的特徴と明示的な時間的特徴の両方を処理するために、ステージ化されたモジュールを備えた階層構造にフィードされる。
具体的には、時間的アグリゲーションと状態空間モデル(SSM)に基づくマンバに基づく長時間の事象のうち、時間的明示的抽出を強化するために、グローバル抽出器を再設計する。
我々のモデルは実験において最小限の計算資源を消費し、6種類の行動認識データセットに対してSOTAポイントベースの性能を示す。
さらに、カメラポーズ再ローカライゼーション(CPR)とアイトラッキングレグレッションタスクの両方において、フレームベースの手法よりも優れていた。
私たちのコードは、https://github.com/rhwxmx/EventMamba.comで利用可能です。
関連論文リスト
- Spatially-guided Temporal Aggregation for Robust Event-RGB Optical Flow Estimation [47.75348821902489]
現在の光学フロー法は、フレーム(またはRGB)データの安定した出現を利用して、時間にわたって堅牢な対応を確立する。
一方、イベントカメラは、高時間分解能のモーションキューを提供し、挑戦的なシナリオに優れています。
本研究は,時間的に密度の高い事象モダリティの集合を導くために空間的に密度の高いモダリティを用いる新しいアプローチを提案する。
論文 参考訳（メタデータ） (2025-01-01T13:40:09Z) - Frequency-aware Event Cloud Network [22.41905416371072]
イベントクラウド表現を利用した周波数対応ネットワークFECNetを提案する。
FECNetはイベントベースのGroup and Smplingモジュールを革新することで、2S-1T-1P Event Cloudを完全に活用している。
イベントベースオブジェクト分類、行動認識、人間のポーズ推定タスクについて広範な実験を行った。
論文 参考訳（メタデータ） (2024-12-30T08:53:57Z) - Event-based Motion Deblurring via Multi-Temporal Granularity Fusion [5.58706910566768]
連続的な視覚情報を提供するバイオインスパイアされたセンサーであるイベントカメラは、劣化性能を高める可能性がある。
既存のイベントベースの画像デブロアリングは、通常、ボクセルベースのイベント表現を使用する。
画像分解タスクにポイントクラウドベースのイベント表現を導入し、MTGNet(Multi-Temporal Granularity Network)を提案する。
空間的に密度が高いが、時間的に粗いボクセルベースのイベント表現と、時間的に細粒だが空間的に粗い点雲ベースのイベントを組み合わせる。
論文 参考訳（メタデータ） (2024-12-16T15:20:54Z) - Event-Stream Super Resolution using Sigma-Delta Neural Network [0.10923877073891444]
イベントカメラは、それらが収集するデータの低解像度で疎結合で非同期な性質のため、ユニークな課題を示す。
現在のイベント超解像アルゴリズムは、イベントカメラによって生成された異なるデータ構造に対して完全に最適化されていない。
バイナリスパイクをSigma Delta Neural Networks(SDNNs)と統合する手法を提案する
論文 参考訳（メタデータ） (2024-08-13T15:25:18Z) - Fast Window-Based Event Denoising with Spatiotemporal Correlation
Enhancement [85.66867277156089]
同時にイベントのスタックを扱うウィンドウベースのイベントデノゲーションを提案する。
空間領域では、実世界の事象と雑音を識別するために、最大後部(MAP)を選択する。
我々のアルゴリズムは、イベントノイズを効果的かつ効率的に除去し、下流タスクの性能を向上させることができる。
論文 参考訳（メタデータ） (2024-02-14T15:56:42Z) - Implicit Event-RGBD Neural SLAM [54.74363487009845]
神経性SLAMは近年顕著な進歩を遂げている。
既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。
本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
論文 参考訳（メタデータ） (2023-11-18T08:48:58Z) - Generalizing Event-Based Motion Deblurring in Real-World Scenarios [62.995994797897424]
イベントベースの動作遅延は、低レイテンシイベントを活用することで、有望な結果を示している。
本研究では,フレキシブルな入力空間スケールを実現するとともに,時間スケールの異なる動きのぼかしから学習できるスケール対応ネットワークを提案する。
次に,実世界のデータ分布に適合する2段階の自己教師型学習手法を開発した。
論文 参考訳（メタデータ） (2023-08-11T04:27:29Z) - HALSIE: Hybrid Approach to Learning Segmentation by Simultaneously
Exploiting Image and Event Modalities [6.543272301133159]
イベントカメラは、非同期イベントストリームを生成するためにピクセルごとの強度の変化を検出する。
リアルタイム自律システムにおいて、正確なセマンティックマップ検索のための大きな可能性を秘めている。
イベントセグメンテーションの既存の実装は、サブベースのパフォーマンスに悩まされている。
本研究では,ハイブリット・エンド・エンド・エンドの学習フレームワークHALSIEを提案する。
論文 参考訳（メタデータ） (2022-11-19T17:09:50Z) - Unsupervised Feature Learning for Event Data: Direct vs Inverse Problem
Formulation [53.850686395708905]
イベントベースのカメラは、ピクセルごとの明るさ変化の非同期ストリームを記録する。
本稿では,イベントデータからの表現学習のための単一層アーキテクチャに焦点を当てる。
我々は,最先端手法と比較して,認識精度が最大9%向上したことを示す。
論文 参考訳（メタデータ） (2020-09-23T10:40:03Z) - Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。
同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。
理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
論文 参考訳（メタデータ） (2020-03-20T08:39:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。