論文の概要: EMF: Event Meta Formers for Event-based Real-time Traffic Object Detection

• arxiv url: http://arxiv.org/abs/2504.04124v1
• Date: Sat, 05 Apr 2025 09:48:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:11:38.402793
• Title: EMF: Event Meta Formers for Event-based Real-time Traffic Object Detection
• Title（参考訳）: EMF:イベントベースリアルタイムトラフィックオブジェクト検出のためのイベントメタ前者
• Authors: Muhammad Ahmed Ullah Khan, Abdul Hannan Khan, Andreas Dengel,
• Abstract要約: イベントカメラは時間分解能が高く、従来のRGBカメラに比べてストレージと帯域幅は少ない。 イベントベースのオブジェクト検出における最近のアプローチは、計算コストの高いトランスフォーマーベースのソリューションを用いることで、このギャップを埋めようとしている。 提案するEMFは,最も効率的なイベントベース物体検出器の性能を向上し,ドメイン内で最速のプログレッシオンベースアーキテクチャとなる。
• 参考スコア（独自算出の注目度）: 5.143097874851516
• License:
• Abstract: Event cameras have higher temporal resolution, and require less storage and bandwidth compared to traditional RGB cameras. However, due to relatively lagging performance of event-based approaches, event cameras have not yet replace traditional cameras in performance-critical applications like autonomous driving. Recent approaches in event-based object detection try to bridge this gap by employing computationally expensive transformer-based solutions. However, due to their resource-intensive components, these solutions fail to exploit the sparsity and higher temporal resolution of event cameras efficiently. Moreover, these solutions are adopted from the vision domain, lacking specificity to the event cameras. In this work, we explore efficient and performant alternatives to recurrent vision transformer models and propose a novel event-based object detection backbone. The proposed backbone employs a novel Event Progression Extractor module, tailored specifically for event data, and uses Metaformer concept with convolution-based efficient components. We evaluate the resultant model on well-established traffic object detection benchmarks and conduct cross-dataset evaluation to test its ability to generalize. The proposed model outperforms the state-of-the-art on Prophesee Gen1 dataset by 1.6 mAP while reducing inference time by 14%. Our proposed EMF becomes the fastest DNN-based architecture in the domain by outperforming most efficient event-based object detectors. Moreover, the proposed model shows better ability to generalize to unseen data and scales better with the abundance of data.
• Abstract（参考訳）: イベントカメラは時間分解能が高く、従来のRGBカメラに比べてストレージと帯域幅は少ない。 しかし、イベントベースのアプローチのパフォーマンスが比較的遅れているため、イベントカメラは、自動運転のようなパフォーマンスクリティカルなアプリケーションにおいて、従来のカメラを置き換えていない。 イベントベースのオブジェクト検出における最近のアプローチは、計算コストの高いトランスフォーマーベースのソリューションを用いることで、このギャップを埋めようとしている。 しかしながら、リソース集約的なコンポーネントのため、これらのソリューションは、イベントカメラのスパーシリティと高時間分解能を効率的に活用することができない。 さらに、これらのソリューションは視覚領域から採用され、イベントカメラの特異性に欠ける。 本研究では,再帰型視覚変換器モデルに対する効率的かつ高性能な代替手段について検討し,新しいイベントベースオブジェクト検出バックボーンを提案する。 提案されたバックボーンは、イベントデータに特化した新しいEvent Progression Extractorモジュールを採用し、畳み込みベースの効率的なコンポーネントを備えたMetaformerの概念を使用している。 確立されたトラヒックオブジェクト検出ベンチマークで得られたモデルを評価し、クロスデータセット評価を行い、その一般化能力をテストする。 提案したモデルは、推論時間を14%削減しつつ、Prophesee Gen1データセットの最先端を1.6mAP向上させる。 提案するEMFは,最も効率的なイベントベース物体検出器の性能を向上し,ドメイン内で最速のDNNアーキテクチャとなる。 さらに,提案モデルでは,データ量の増大に伴い,非表示データへの一般化や拡張性の向上が図られている。

関連論文リスト

• Evaluating Image-Based Face and Eye Tracking with Event Cameras [9.677797822200965]
  イベントカメラはニューロモルフィックセンサーとしても知られており、ピクセルレベルの局所光強度の変化を捉え、非同期に生成されたイベントと呼ばれるデータを生成する。 このデータフォーマットは、高速で動く物体を撮影する際のアンダーサンプリングのような、従来のカメラで観察される一般的な問題を緩和する。 我々は、従来のアルゴリズムとイベントベースのデータを統合することにより、フレーム形式に変換される可能性を評価する。
  論文  参考訳（メタデータ） (2024-08-19T20:27:08Z)
• Event-to-Video Conversion for Overhead Object Detection [7.744259147081667]
  イベントカメラは、特にオブジェクト検出などの複雑なタスクにおいて、下流の画像処理を複雑にする。 本稿では,高密度イベント表現とそれに対応するRGBフレームの間には,大きな差があることを述べる。 このギャップを埋めるために、イベントストリームをグレースケールのビデオに変換するイベント間変換モデルを適用する。
  論文  参考訳（メタデータ） (2024-02-09T22:07:39Z)
• SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
  SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。 SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
  論文  参考訳（メタデータ） (2023-09-29T05:13:43Z)
• EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
  イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。 本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。 イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
  論文  参考訳（メタデータ） (2023-08-25T23:51:07Z)
• Dual Memory Aggregation Network for Event-Based Object Detection with Learnable Representation [79.02808071245634]
  イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。 イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。 長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
  論文  参考訳（メタデータ） (2023-03-17T12:12:41Z)
• RGB-Event Fusion for Moving Object Detection in Autonomous Driving [3.5397758597664306]
  移動物体検出(MOD)は安全な自動運転を実現するための重要な視覚課題である。 センサ技術の最近の進歩、特にイベントカメラは、移動物体をより良くモデル化するための従来のカメラアプローチを自然に補完することができる。 我々は、より堅牢なMODを実現するために、2つの相補的モダリティを共同で活用する新しいRGB-Event fusion NetworkであるRENetを提案する。
  論文  参考訳（メタデータ） (2022-09-17T12:59:08Z)
• Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
  イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。 イベントベースビジュアル・オドメトリー(VO)に焦点をあてる 動作最適化のバックエンドとして非同期構造を提案する。
  論文  参考訳（メタデータ） (2022-03-02T11:28:47Z)
• Bridging the Gap between Events and Frames through Unsupervised Domain Adaptation [57.22705137545853]
  本稿では,ラベル付き画像とラベル付きイベントデータを用いてモデルを直接訓練するタスク転送手法を提案する。 生成イベントモデルを利用して、イベント機能をコンテンツとモーションに分割します。 われわれのアプローチは、イベントベースのニューラルネットワークのトレーニングのために、膨大な量の既存の画像データセットをアンロックする。
  論文  参考訳（メタデータ） (2021-09-06T17:31:37Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)
• Learning to Detect Objects with a 1 Megapixel Event Camera [14.949946376335305]
  イベントカメラは、高時間精度、低データレート、高ダイナミックレンジで視覚情報を符号化する。 フィールドの新規性のため、多くのビジョンタスクにおけるイベントベースのシステムの性能は、従来のフレームベースのソリューションに比べて依然として低い。
  論文  参考訳（メタデータ） (2020-09-28T16:03:59Z)
• A Hybrid Neuromorphic Object Tracking and Classification Framework for Real-time Systems [5.959466944163293]
  本稿では,イベントベースカメラを用いた物体追跡と分類のためのリアルタイムハイブリッドニューロモルフィックフレームワークを提案する。 イベント・バイ・イベント処理の従来のアプローチとは異なり、この作業では混合フレームとイベント・アプローチを使用して高性能な省エネを実現している。
  論文  参考訳（メタデータ） (2020-07-21T07:11:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。