論文の概要: FlexEvent: Event Camera Object Detection at Arbitrary Frequencies

• arxiv url: http://arxiv.org/abs/2412.06708v1
• Date: Mon, 09 Dec 2024 17:57:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:53:11.748264
• Title: FlexEvent: Event Camera Object Detection at Arbitrary Frequencies
• Title（参考訳）: FlexEvent: 任意周波数でのイベントカメラオブジェクト検出
• Authors: Dongyue Lu, Lingdong Kong, Gim Hee Lee, Camille Simon Chane, Wei Tsang Ooi,
• Abstract要約: イベントカメラは、動的環境におけるリアルタイムの知覚に相容れないアドバンテージを提供する。 既存のイベントベースのオブジェクト検出方法は固定周波数パラダイムによって制限される。 任意の周波数で検出できる新しいイベントカメラオブジェクト検出フレームワークFlexEventを提案する。
• 参考スコア（独自算出の注目度）: 45.82637829492951
• License:
• Abstract: Event cameras offer unparalleled advantages for real-time perception in dynamic environments, thanks to their microsecond-level temporal resolution and asynchronous operation. Existing event-based object detection methods, however, are limited by fixed-frequency paradigms and fail to fully exploit the high-temporal resolution and adaptability of event cameras. To address these limitations, we propose FlexEvent, a novel event camera object detection framework that enables detection at arbitrary frequencies. Our approach consists of two key components: FlexFuser, an adaptive event-frame fusion module that integrates high-frequency event data with rich semantic information from RGB frames, and FAL, a frequency-adaptive learning mechanism that generates frequency-adjusted labels to enhance model generalization across varying operational frequencies. This combination allows our method to detect objects with high accuracy in both fast-moving and static scenarios, while adapting to dynamic environments. Extensive experiments on large-scale event camera datasets demonstrate that our approach surpasses state-of-the-art methods, achieving significant improvements in both standard and high-frequency settings. Notably, our method maintains robust performance when scaling from 20 Hz to 90 Hz and delivers accurate detection up to 180 Hz, proving its effectiveness in extreme conditions. Our framework sets a new benchmark for event-based object detection and paves the way for more adaptable, real-time vision systems.
• Abstract（参考訳）: イベントカメラは、マイクロ秒レベルの時間分解能と非同期操作のおかげで、動的環境におけるリアルタイムの知覚に相容れないアドバンテージを提供する。 しかし、既存のイベントベースのオブジェクト検出方法は固定周波数のパラダイムによって制限されており、イベントカメラの高時間分解能と適応性を完全に活用できない。 これらの制約に対処するため、任意の周波数で検出できる新しいイベントカメラオブジェクト検出フレームワークFlexEventを提案する。 当社のアプローチは,RGBフレームからのリッチな意味情報と高周波イベントデータを統合した適応イベントフレーム融合モジュールであるFlexFuserと,周波数調整ラベルを生成する周波数適応学習機構であるFALの2つの主要コンポーネントから構成される。 この組み合わせにより,動的環境に適応しながら,高速動作と静的動作の両方のシナリオにおいて,オブジェクトを高精度に検出することができる。 大規模イベントカメラデータセットに対する大規模な実験により、我々のアプローチは最先端の手法を超越し、標準設定と高周波設定の両方で大幅な改善が達成された。 特に,20Hzから90Hzまでのスケーリングでは頑健な性能を維持し,180Hzまでの高精度な検出を実現し,極端な条件下での有効性を実証する。 我々のフレームワークは、イベントベースのオブジェクト検出のための新しいベンチマークを設定し、より適応的でリアルタイムな視覚システムへの道を開く。

関連論文リスト

• Path-adaptive Spatio-Temporal State Space Model for Event-based Recognition with Arbitrary Duration [9.547947845734992]
  イベントカメラはバイオインスパイアされたセンサーで、強度の変化を非同期に捉え、イベントストリームを出力する。 本稿では, PAST-Act と呼ばれる新しいフレームワークを提案する。 私たちはまた、コミュニティの利益のために任意の期間で、ArDVS100という名前の分レベルのイベントベースの認識データセットを構築しました。
  論文  参考訳（メタデータ） (2024-09-25T14:08:37Z)
• Tracking Any Point with Frame-Event Fusion Network at High Frame Rate [16.749590397918574]
  本稿では,イメージイベント融合点トラッカー FE-TAP を提案する。 画像フレームからのコンテキスト情報と、イベントの高時間分解能を組み合わせる。 FE-TAPは様々な困難条件下で高いフレームレートとロバストな点追跡を実現する。
  論文  参考訳（メタデータ） (2024-09-18T13:07:19Z)
• Implicit Event-RGBD Neural SLAM [54.74363487009845]
  神経性SLAMは近年顕著な進歩を遂げている。 既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。 本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
  論文  参考訳（メタデータ） (2023-11-18T08:48:58Z)
• SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
  SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。 SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
  論文  参考訳（メタデータ） (2023-09-29T05:13:43Z)
• Chasing Day and Night: Towards Robust and Efficient All-Day Object Detection Guided by an Event Camera [8.673063170884591]
  EOLOは、RGBとイベントモダリティの両方を融合させることで、堅牢で効率的な全日検出を実現する、新しいオブジェクト検出フレームワークである。 我々のEOLOフレームワークは、イベントの非同期特性を効率的に活用するために、軽量スパイキングニューラルネットワーク(SNN)に基づいて構築されている。
  論文  参考訳（メタデータ） (2023-09-17T15:14:01Z)
• Video Frame Interpolation with Stereo Event and Intensity Camera [40.07341828127157]
  高品質な中間フレームを生成するための新しいステレオイベントベースVFIネットワーク(SE-VFI-Net)を提案する。 我々は,正確な光学的流れと不均一性推定を実現するために,融合した特徴を利用する。 提案するSEVFI-Netは最先端の手法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2023-07-17T04:02:00Z)
• Dual Memory Aggregation Network for Event-Based Object Detection with Learnable Representation [79.02808071245634]
  イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。 イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。 長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
  論文  参考訳（メタデータ） (2023-03-17T12:12:41Z)
• Learning to Detect Objects with a 1 Megapixel Event Camera [14.949946376335305]
  イベントカメラは、高時間精度、低データレート、高ダイナミックレンジで視覚情報を符号化する。 フィールドの新規性のため、多くのビジョンタスクにおけるイベントベースのシステムの性能は、従来のフレームベースのソリューションに比べて依然として低い。
  論文  参考訳（メタデータ） (2020-09-28T16:03:59Z)
• Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
  イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。 同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。 理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
  論文  参考訳（メタデータ） (2020-03-20T08:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。