論文の概要: Rethinking Efficient and Effective Point-based Networks for Event Camera Classification and Regression: EventMamba
- arxiv url: http://arxiv.org/abs/2405.06116v3
- Date: Wed, 3 Jul 2024 03:17:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 19:34:44.236778
- Title: Rethinking Efficient and Effective Point-based Networks for Event Camera Classification and Regression: EventMamba
- Title（参考訳）: イベントカメラ分類と回帰のための効率的かつ効果的なポイントベースネットワークの再考:EventMamba
- Authors: Hongwei Ren, Yue Zhou, Jiadong Zhu, Haotian Fu, Yulong Huang, Xiaopeng Lin, Yuetong Fang, Fei Ma, Hao Yu, Bojun Cheng,
- Abstract要約: イベントカメラは、最小限の電力を消費しながら、低レイテンシで高ダイナミックレンジで環境光の変化を効率的に検出する。
イベントデータを処理する現在のアプローチでは、フレームベースの表現に変換することが多い。
Point Cloudは3D処理の一般的な表現であり、イベントカメラのスパースと非同期性に適合するのに適している。
提案するEventMambaは,最先端(SOTA)のフレームベース手法と比較しても,競合的な結果が得られる,効率的かつ効果的なPoint Cloudフレームワークである。
- 参考スコア（独自算出の注目度）: 11.400397931501338
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras, drawing inspiration from biological systems, efficiently detect changes in ambient light with low latency and high dynamic range while consuming minimal power. The most current approach to processing event data often involves converting it into frame-based representations, which is well-established in traditional vision. However, this approach neglects the sparsity of event data, loses fine-grained temporal information during the transformation process, and increases the computational burden, making it ineffective for characterizing event camera properties. In contrast, Point Cloud is a popular representation for 3D processing and is better suited to match the sparse and asynchronous nature of the event camera. Nevertheless, despite the theoretical compatibility of point-based methods with event cameras, the results show a performance gap that is not yet satisfactory compared to frame-based methods. In order to bridge the performance gap, we propose EventMamba, an efficient and effective Point Cloud framework that achieves competitive results even compared to the state-of-the-art (SOTA) frame-based method in both classification and regression tasks. This notable accomplishment is facilitated by our rethinking of the distinction between Event Cloud and Point Cloud, emphasizing effective temporal information extraction through optimized network structures. Specifically, EventMamba leverages temporal aggregation and State Space Model (SSM) based Mamba boasting enhanced temporal information extraction capabilities. Through a hierarchical structure, EventMamba is adept at abstracting local and global spatial features and implicit and explicit temporal features. By adhering to the lightweight design principle, EventMamba delivers impressive results with minimal computational resource utilization, demonstrating its efficiency and effectiveness.
- Abstract（参考訳）: 生物学的システムからインスピレーションを得たイベントカメラは、低レイテンシと高ダイナミックレンジで環境光の変化を効率よく検出し、最小限の電力を消費する。
イベントデータを処理する最も最近のアプローチは、しばしばそれをフレームベースの表現に変換することである。
しかし、この手法はイベントデータの空間性を無視し、変換過程における微粒な時間情報をなくし、計算負担を増大させ、イベントカメラ特性のキャラクタリゼーションに有効でない。
対照的に、Point Cloudは3D処理の一般的な表現であり、イベントカメラのスパースと非同期性に適合するのに適している。
それにもかかわらず、ポイントベース法とイベントカメラとの理論的互換性にもかかわらず、この結果はフレームベース法と比較してまだ不十分な性能差を示している。
性能ギャップを埋めるために,我々は,最先端(SOTA)のフレームベース手法と比較しても,効率よく,かつ効果的に競合的な結果が得られるEventMambaを提案する。
この顕著な成果は、Event CloudとPoint Cloudの区別を再考することで促進され、最適化されたネットワーク構造による効果的な時間情報抽出を強調します。
具体的には、EventMambaは時間的アグリゲーションとステートスペースモデル(SSM)ベースのMambaを利用して、時間的情報抽出機能を強化している。
階層構造を通じて、EventMambaは局所的・グローバルな空間的特徴と暗黙的・明示的な時間的特徴を抽象化する能力を持っている。
EventMambaは軽量な設計原則に固執することにより、計算リソースの利用を最小限に抑え、その効率性と有効性を示す印象的な結果を提供する。
関連論文リスト
- Fast Window-Based Event Denoising with Spatiotemporal Correlation
Enhancement [85.66867277156089]
同時にイベントのスタックを扱うウィンドウベースのイベントデノゲーションを提案する。
空間領域では、実世界の事象と雑音を識別するために、最大後部(MAP)を選択する。
我々のアルゴリズムは、イベントノイズを効果的かつ効率的に除去し、下流タスクの性能を向上させることができる。
論文 参考訳（メタデータ） (2024-02-14T15:56:42Z) - Representation Learning on Event Stream via an Elastic Net-incorporated
Tensor Network [1.9515859963221267]
本稿では,イベントストリーム中のすべてのイベントのグローバルな相関を同時に取得できる新しい表現法を提案する。
本手法は, 最先端手法と比較して, フィルタノイズなどの応用において有効な結果が得られる。
論文 参考訳（メタデータ） (2024-01-16T02:51:47Z) - Implicit Event-RGBD Neural SLAM [54.74363487009845]
神経性SLAMは近年顕著な進歩を遂げている。
既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。
本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
論文 参考訳（メタデータ） (2023-11-18T08:48:58Z) - Generalizing Event-Based Motion Deblurring in Real-World Scenarios [62.995994797897424]
イベントベースの動作遅延は、低レイテンシイベントを活用することで、有望な結果を示している。
本研究では,フレキシブルな入力空間スケールを実現するとともに,時間スケールの異なる動きのぼかしから学習できるスケール対応ネットワークを提案する。
次に,実世界のデータ分布に適合する2段階の自己教師型学習手法を開発した。
論文 参考訳（メタデータ） (2023-08-11T04:27:29Z) - HALSIE: Hybrid Approach to Learning Segmentation by Simultaneously
Exploiting Image and Event Modalities [6.543272301133159]
イベントカメラは、非同期イベントストリームを生成するためにピクセルごとの強度の変化を検出する。
リアルタイム自律システムにおいて、正確なセマンティックマップ検索のための大きな可能性を秘めている。
イベントセグメンテーションの既存の実装は、サブベースのパフォーマンスに悩まされている。
本研究では,ハイブリット・エンド・エンド・エンドの学習フレームワークHALSIEを提案する。
論文 参考訳（メタデータ） (2022-11-19T17:09:50Z) - Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。
イベントベースビジュアル・オドメトリー(VO)に焦点をあてる
動作最適化のバックエンドとして非同期構造を提案する。
論文 参考訳（メタデータ） (2022-03-02T11:28:47Z) - AET-EFN: A Versatile Design for Static and Dynamic Event-Based Vision [33.4444564715323]
イベントデータは、非常に高時間分解能の空間時間領域におけるノイズ、スパース、および不均一である。
既存の方法では、イベントをポイントクラウドベースまたはボクセルベースの表現にエンコードするが、ノイズや情報損失に悩まされる。
この研究は、新しいイベントデータ表現としてAligned Event Frame(AET)とEvent Frame Net(EFN)と呼ばれるきちんとしたフレームワークを提案する。
提案されたAETとEFNは様々なデータセットで評価され、既存の最先端のメソッドを大きなマージンで上回ることが証明された。
論文 参考訳（メタデータ） (2021-03-22T08:09:03Z) - Unsupervised Feature Learning for Event Data: Direct vs Inverse Problem
Formulation [53.850686395708905]
イベントベースのカメラは、ピクセルごとの明るさ変化の非同期ストリームを記録する。
本稿では,イベントデータからの表現学習のための単一層アーキテクチャに焦点を当てる。
我々は,最先端手法と比較して,認識精度が最大9%向上したことを示す。
論文 参考訳（メタデータ） (2020-09-23T10:40:03Z) - Event-based visual place recognition with ensembles of temporal windows [29.6328152991222]
イベントカメラは、低レイテンシと高レンジで連続的なイベントストリームを提供することができるバイオインスパイアされたセンサーである。
我々は,異なる長さの時間ウィンドウを並列に処理する,アンサンブルに基づく新しい手法を開発した。
提案するアンサンブル方式は, 単ウィンドウベースラインや従来のモデルベースアンサンブルよりも大幅に優れていた。
論文 参考訳（メタデータ） (2020-05-22T05:33:35Z) - Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。
同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。
理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
論文 参考訳（メタデータ） (2020-03-20T08:39:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。