論文の概要: Frequency-aware Event Cloud Network
- arxiv url: http://arxiv.org/abs/2412.20803v1
- Date: Mon, 30 Dec 2024 08:53:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-31 16:06:05.404698
- Title: Frequency-aware Event Cloud Network
- Title（参考訳）: 周波数対応イベントクラウドネットワーク
- Authors: Hongwei Ren, Fei Ma, Xiaopeng Lin, Yuetong Fang, Hongxiang Huang, Yulong Huang, Yue Zhou, Haotian Fu, Ziyi Yang, Fei Richard Yu, Bojun Cheng,
- Abstract要約: イベントクラウド表現を利用した周波数対応ネットワークFECNetを提案する。
FECNetはイベントベースのGroup and Smplingモジュールを革新することで、2S-1T-1P Event Cloudを完全に活用している。
イベントベースオブジェクト分類、行動認識、人間のポーズ推定タスクについて広範な実験を行った。
- 参考スコア（独自算出の注目度）: 22.41905416371072
- License:
- Abstract: Event cameras are biologically inspired sensors that emit events asynchronously with remarkable temporal resolution, garnering significant attention from both industry and academia. Mainstream methods favor frame and voxel representations, which reach a satisfactory performance while introducing time-consuming transformation, bulky models, and sacrificing fine-grained temporal information. Alternatively, Point Cloud representation demonstrates promise in addressing the mentioned weaknesses, but it ignores the polarity information, and its models have limited proficiency in abstracting long-term events' features. In this paper, we propose a frequency-aware network named FECNet that leverages Event Cloud representations. FECNet fully utilizes 2S-1T-1P Event Cloud by innovating the event-based Group and Sampling module. To accommodate the long sequence events from Event Cloud, FECNet embraces feature extraction in the frequency domain via the Fourier transform. This approach substantially extinguishes the explosion of Multiply Accumulate Operations (MACs) while effectively abstracting spatial-temporal features. We conducted extensive experiments on event-based object classification, action recognition, and human pose estimation tasks, and the results substantiate the effectiveness and efficiency of FECNet.
- Abstract（参考訳）: イベントカメラは生物学的にインスパイアされたセンサーであり、顕著な時間分解能で非同期にイベントを放出し、産業とアカデミックの両方から大きな注目を集めている。
主流の手法はフレームとボクセルの表現を好んでおり、時間を要する変換やバルクモデルを導入し、きめ細かい時間情報を犠牲にする。
あるいは、Point Cloud表現は、前述の弱点に対処する約束を示すが、極性情報を無視し、そのモデルは長期的なイベントの特徴を抽象化する能力に限界がある。
本稿では,イベントクラウド表現を利用した周波数認識ネットワークFECNetを提案する。
FECNetはイベントベースのGroup and Smplingモジュールを革新することで、2S-1T-1P Event Cloudを完全に活用している。
Event Cloudからの長いシーケンスイベントに対応するため、FECNetはFourier変換を介して周波数領域の機能抽出を受け入れる。
このアプローチは、空間的特徴を効果的に抽象化しつつ、MAC(Multiply Accumulate Operations)の爆発を実質的に排除する。
イベントベースオブジェクト分類,行動認識,人間のポーズ推定タスクについて広範な実験を行い,FECNetの有効性と効率を実証した。
関連論文リスト
- Spiking Neural Network as Adaptive Event Stream Slicer [10.279359105384334]
イベントベースのカメラは、リッチエッジ情報、高ダイナミックレンジ、高時間分解能を提供する。
最先端のイベントベースのアルゴリズムの多くは、イベントを固定グループに分割することに依存しており、重要な時間情報の欠落をもたらす。
SpikeSlicerは、イベントストリームを適応的に分割可能な、新規に設計されたプラグアンドプレイイベント処理方式である。
論文 参考訳（メタデータ） (2024-10-03T06:41:10Z) - SFANet: Spatial-Frequency Attention Network for Weather Forecasting [54.470205739015434]
天気予報は様々な分野において重要な役割を担い、意思決定とリスク管理を推進している。
伝統的な手法は、しばしば気象系の複雑な力学を捉えるのに苦労する。
本稿では,これらの課題に対処し,天気予報の精度を高めるための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2024-05-29T08:00:15Z) - Rethinking Efficient and Effective Point-based Networks for Event Camera Classification and Regression: EventMamba [11.400397931501338]
イベントカメラは、最小限の電力を消費しながら、低レイテンシで高ダイナミックレンジで環境光の変化を効率的に検出する。
イベントデータを処理する現在のアプローチでは、フレームベースの表現に変換することが多い。
Point Cloudは3D処理の一般的な表現であり、イベントカメラのスパースと非同期性に適合するのに適している。
提案するEventMambaは,最先端(SOTA)のフレームベース手法と比較しても,競合的な結果が得られる,効率的かつ効果的なPoint Cloudフレームワークである。
論文 参考訳（メタデータ） (2024-05-09T21:47:46Z) - MambaPupil: Bidirectional Selective Recurrent model for Event-based Eye tracking [50.26836546224782]
事象に基づく視線追跡は、高時間分解能と低冗長性で非常に有望である。
点眼、固定、ササード、スムーズな追跡を含む眼球運動パターンの多様性と急激さは、眼球運動の局所化に重要な課題を提起する。
本稿では、文脈時空間情報を完全に活用するための双方向の長期シーケンスモデリングと時間変化状態選択機構を提案する。
論文 参考訳（メタデータ） (2024-04-18T11:09:25Z) - Fast Window-Based Event Denoising with Spatiotemporal Correlation
Enhancement [85.66867277156089]
同時にイベントのスタックを扱うウィンドウベースのイベントデノゲーションを提案する。
空間領域では、実世界の事象と雑音を識別するために、最大後部(MAP)を選択する。
我々のアルゴリズムは、イベントノイズを効果的かつ効率的に除去し、下流タスクの性能を向上させることができる。
論文 参考訳（メタデータ） (2024-02-14T15:56:42Z) - Representation Learning on Event Stream via an Elastic Net-incorporated
Tensor Network [1.9515859963221267]
本稿では,イベントストリーム中のすべてのイベントのグローバルな相関を同時に取得できる新しい表現法を提案する。
本手法は, 最先端手法と比較して, フィルタノイズなどの応用において有効な結果が得られる。
論文 参考訳（メタデータ） (2024-01-16T02:51:47Z) - SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。
SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
論文 参考訳（メタデータ） (2023-09-29T05:13:43Z) - EV-Catcher: High-Speed Object Catching Using Low-latency Event-based
Neural Networks [107.62975594230687]
イベントカメラが優れており、高速移動物体の衝突位置を正確に推定するアプリケーションを実証する。
イベントデータを低レイテンシでエンコードするために,Binary Event History Image(BEHI)と呼ばれる軽量なイベント表現を導入する。
計算制約のある組込みプラットフォーム上でも最大13m/sの速さで, 異なる場所をターゲットとした球のキャッチにおいて, 81%の成功率を達成することができることを示す。
論文 参考訳（メタデータ） (2023-04-14T15:23:28Z) - Event Voxel Set Transformer for Spatiotemporal Representation Learning on Event Streams [19.957857885844838]
イベントカメラは、シーンをスパースで非同期なイベントストリームとして記録するニューロモルフィックな視覚センサである。
本稿では,イベントストリーム上での効率的な表現学習のためのイベントVoxel Set Transformer (EVSTr) という注目度モデルを提案する。
実験によると、EVSTrは低モデルの複雑さを維持しながら最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-03-07T12:48:02Z) - Ev-TTA: Test-Time Adaptation for Event-Based Object Recognition [7.814941658661939]
Ev-TTAは、イベントベースのオブジェクト認識のためのシンプルで効果的なテスト時間適応である。
我々の定式化は、入力表現に関係なくうまく適用でき、回帰タスクに拡張できる。
論文 参考訳（メタデータ） (2022-03-23T07:43:44Z) - A Prospective Study on Sequence-Driven Temporal Sampling and Ego-Motion
Compensation for Action Recognition in the EPIC-Kitchens Dataset [68.8204255655161]
行動認識はコンピュータビジョンにおける最上位の研究分野の一つである。
エゴモーション記録シーケンスは重要な関連性を持つようになった。
提案手法は,このエゴモーションやカメラの動きを推定して対処することを目的としている。
論文 参考訳（メタデータ） (2020-08-26T14:44:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。