論文の概要: EBBINNOT: A Hardware Efficient Hybrid Event-Frame Tracker for Stationary Dynamic Vision Sensors

• arxiv url: http://arxiv.org/abs/2006.00422v4
• Date: Tue, 10 May 2022 02:58:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 13:08:54.072498
• Title: EBBINNOT: A Hardware Efficient Hybrid Event-Frame Tracker for Stationary Dynamic Vision Sensors
• Title（参考訳）: EBBINNOT:静止型ダイナミックビジョンセンサのためのハードウェア効率の良いハイブリッドイベントフレームトラッカー
• Authors: Vivek Mohan, Deepak Singla, Tarun Pulluri, Andres Ussa, Pradeep Kumar Gopalakrishnan, Pao-Sheng Sun, Bharath Ramesh and Arindam Basu
• Abstract要約: 本稿では,静止型ニューロモルフィックセンサによって記録された物体を検知・追跡するための複合イベントフレーム手法を提案する。 静的DVSの背景除去特性を活用するために,フレーム内のイベントの有無を通知するイベントベースバイナリ画像生成を提案する。 静止DVSベースのトラフィック監視ソリューションが、同時に記録されたRGBフレームベースの方法と比較されるのは、これが初めてである。
• 参考スコア（独自算出の注目度）: 5.674895233111088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As an alternative sensing paradigm, dynamic vision sensors (DVS) have been recently explored to tackle scenarios where conventional sensors result in high data rate and processing time. This paper presents a hybrid event-frame approach for detecting and tracking objects recorded by a stationary neuromorphic sensor, thereby exploiting the sparse DVS output in a low-power setting for traffic monitoring. Specifically, we propose a hardware efficient processing pipeline that optimizes memory and computational needs that enable long-term battery powered usage for IoT applications. To exploit the background removal property of a static DVS, we propose an event-based binary image creation that signals presence or absence of events in a frame duration. This reduces memory requirement and enables usage of simple algorithms like median filtering and connected component labeling for denoise and region proposal respectively. To overcome the fragmentation issue, a YOLO inspired neural network based detector and classifier to merge fragmented region proposals has been proposed. Finally, a new overlap based tracker was implemented, exploiting overlap between detections and tracks is proposed with heuristics to overcome occlusion. The proposed pipeline is evaluated with more than 5 hours of traffic recording spanning three different locations on two different neuromorphic sensors (DVS and CeleX) and demonstrate similar performance. Compared to existing event-based feature trackers, our method provides similar accuracy while needing approx 6 times less computes. To the best of our knowledge, this is the first time a stationary DVS based traffic monitoring solution is extensively compared to simultaneously recorded RGB frame-based methods while showing tremendous promise by outperforming state-of-the-art deep learning solutions.
• Abstract（参考訳）: 代替のセンシングパラダイムとして、動的視覚センサ(DVS)が近年、従来のセンサがデータレートと処理時間を高くするシナリオに取り組むために研究されている。 本稿では,静止型ニューロモルフィックセンサによって記録された物体を検出し,追跡するためのハイブリッドイベントフレーム手法を提案する。 具体的には,IoTアプリケーションの長期使用を可能にするメモリおよび計算ニーズを最適化する,ハードウェア効率のよい処理パイプラインを提案する。 静的dvsの背景除去特性を利用するために,フレーム持続時間内にイベントの有無を知らせるイベントベースのバイナリ画像生成を提案する。 これにより、メモリ要求を減らし、中央値のフィルタリングや接続されたコンポーネントラベリングといった単純なアルゴリズムをそれぞれ利用できるようになる。 フラグメンテーション問題を克服するために、YOLOにインスパイアされたニューラルネットワークベースの検出器と分類器が提案されている。 最後に,検出とトラックの重なりを利用した新たな重なりに基づくトラッカーが提案されている。 提案したパイプラインは、2つの異なるニューロモルフィックセンサー(DVSとCeleX)で3つの異なる場所にまたがる5時間以上のトラフィック記録により評価され、同様の性能を示す。 既存のイベントベースの機能トラッカと比較して,計算量を約6倍削減しながら,同様の精度を提供する。 我々の知る限り、定常的なDVSベースのトラフィック監視ソリューションが同時に記録されたRGBフレームベースの手法と比較されるのはこれが初めてであり、最先端のディープラーニングソリューションよりも優れた性能を示す。

関連論文リスト

• Exploring Dynamic Transformer for Efficient Object Tracking [58.120191254379854]
  効率的なトラッキングのための動的トランスフォーマーフレームワークであるDyTrackを提案する。 DyTrackは、様々な入力に対して適切な推論ルートを設定することを学習し、利用可能な計算予算をより活用する。 複数のベンチマークの実験では、DyTrackは単一のモデルで有望な速度精度のトレードオフを実現している。
  論文  参考訳（メタデータ） (2024-03-26T12:31:58Z)
• Low-power event-based face detection with asynchronous neuromorphic hardware [2.0774873363739985]
  本稿では、SynSense Speckニューロモルフィックチップ上に展開されたイベントベースの顔検出のためのオンチップスパイクニューラルネットワークの最初の例を示す。 トレーニングに用いるオフチップクロック駆動シミュレーションとオンチップイベント駆動推論との精度の相違について述べる。 オンチップ顔検出のmAP[0.5]は0.6で、20mWしか消費しない。
  論文  参考訳（メタデータ） (2023-12-21T19:23:02Z)
• SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
  SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。 SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
  論文  参考訳（メタデータ） (2023-09-29T05:13:43Z)
• EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
  イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。 本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。 イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
  論文  参考訳（メタデータ） (2023-08-25T23:51:07Z)
• Dual Memory Aggregation Network for Event-Based Object Detection with Learnable Representation [79.02808071245634]
  イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。 イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。 長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
  論文  参考訳（メタデータ） (2023-03-17T12:12:41Z)
• Minkowski Tracker: A Sparse Spatio-Temporal R-CNN for Joint Object Detection and Tracking [53.64390261936975]
  我々はオブジェクトの検出と追跡を共同で解決するスパース時間R-CNNであるMinkowski Trackerを提案する。 領域ベースCNN(R-CNN)に着想を得て,物体検出器R-CNNの第2段階として動きを追跡することを提案する。 大規模実験では,本手法の総合的な性能向上は4つの要因によることがわかった。
  論文  参考訳（メタデータ） (2022-08-22T04:47:40Z)
• Efficient Two-Stream Network for Violence Detection Using Separable Convolutional LSTM [0.0]
  Separable Convolutional LSTM(SepConvLSTM)と予め訓練されたMobileNetを活用した効率的な2ストリームディープラーニングアーキテクチャを提案する。 SepConvLSTMは、ConvLSTMの各ゲートの畳み込み操作を深さ方向に分離可能な畳み込みに置き換えて構築されます。 我々のモデルは、大きくて挑戦的なrwf-2000データセットの精度を2%以上上回っている。
  論文  参考訳（メタデータ） (2021-02-21T12:01:48Z)
• Faster object tracking pipeline for real time tracking [0.0]
  マルチオブジェクトトラッキング(MOT)は、視覚ベースのアプリケーションにとって難しい実践的問題である。 本稿では,検出に基づく物体追跡手法の高速化に有効な汎用パイプラインについて紹介する。
  論文  参考訳（メタデータ） (2020-11-08T06:33:48Z)
• Anchor-free Small-scale Multispectral Pedestrian Detection [88.7497134369344]
  適応型単一段アンカーフリーベースアーキテクチャにおける2つのモードの効果的かつ効率的な多重スペクトル融合法を提案する。 我々は,直接的境界ボックス予測ではなく,対象の中心と規模に基づく歩行者表現の学習を目指す。 その結果,小型歩行者の検出における本手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2020-08-19T13:13:01Z)
• A Hybrid Neuromorphic Object Tracking and Classification Framework for Real-time Systems [5.959466944163293]
  本稿では,イベントベースカメラを用いた物体追跡と分類のためのリアルタイムハイブリッドニューロモルフィックフレームワークを提案する。 イベント・バイ・イベント処理の従来のアプローチとは異なり、この作業では混合フレームとイベント・アプローチを使用して高性能な省エネを実現している。
  論文  参考訳（メタデータ） (2020-07-21T07:11:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。