論文の概要: A Hybrid Neuromorphic Object Tracking and Classification Framework for Real-time Systems

• arxiv url: http://arxiv.org/abs/2007.11404v1
• Date: Tue, 21 Jul 2020 07:11:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 05:25:05.269558
• Title: A Hybrid Neuromorphic Object Tracking and Classification Framework for Real-time Systems
• Title（参考訳）: リアルタイムシステムのためのハイブリッドニューロモルフィック物体追跡と分類フレームワーク
• Authors: Andres Ussa, Chockalingam Senthil Rajen, Deepak Singla, Jyotibdha Acharya, Gideon Fu Chuanrong, Arindam Basu and Bharath Ramesh
• Abstract要約: 本稿では,イベントベースカメラを用いた物体追跡と分類のためのリアルタイムハイブリッドニューロモルフィックフレームワークを提案する。 イベント・バイ・イベント処理の従来のアプローチとは異なり、この作業では混合フレームとイベント・アプローチを使用して高性能な省エネを実現している。
• 参考スコア（独自算出の注目度）: 5.959466944163293
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning inference that needs to largely take place on the 'edge' is a highly computational and memory intensive workload, making it intractable for low-power, embedded platforms such as mobile nodes and remote security applications. To address this challenge, this paper proposes a real-time, hybrid neuromorphic framework for object tracking and classification using event-based cameras that possess properties such as low-power consumption (5-14 mW) and high dynamic range (120 dB). Nonetheless, unlike traditional approaches of using event-by-event processing, this work uses a mixed frame and event approach to get energy savings with high performance. Using a frame-based region proposal method based on the density of foreground events, a hardware-friendly object tracking scheme is implemented using the apparent object velocity while tackling occlusion scenarios. The object track input is converted back to spikes for TrueNorth classification via the energy-efficient deep network (EEDN) pipeline. Using originally collected datasets, we train the TrueNorth model on the hardware track outputs, instead of using ground truth object locations as commonly done, and demonstrate the ability of our system to handle practical surveillance scenarios. As an optional paradigm, to exploit the low latency and asynchronous nature of neuromorphic vision sensors (NVS), we also propose a continuous-time tracker with C++ implementation where each event is processed individually. Thereby, we extensively compare the proposed methodologies to state-of-the-art event-based and frame-based methods for object tracking and classification, and demonstrate the use case of our neuromorphic approach for real-time and embedded applications without sacrificing performance. Finally, we also showcase the efficacy of the proposed system to a standard RGB camera setup when evaluated over several hours of traffic recordings.
• Abstract（参考訳）: エッジで主に行われるべきディープラーニングの推論は、計算量とメモリ集約的なワークロードであり、モバイルノードやリモートセキュリティアプリケーションといった低消費電力な組み込みプラットフォームでは役に立たない。 そこで本研究では,低消費電力 (5-14 mW) や高ダイナミックレンジ (120 dB) などの特性を有するイベントベースカメラを用いて,物体追跡と分類のためのリアルタイムハイブリッドニューロモルフィックフレームワークを提案する。 それでも、イベント・バイ・イベント処理を使用する従来のアプローチとは異なり、この作業は複合フレームとイベント・アプローチを使用して高パフォーマンスで省エネルギーを得る。 前景イベントの密度に基づくフレームベース領域提案法を用いて、オクルージョンシナリオに取り組みながら、見かけの物体速度を用いて、ハードウェアフレンドリーな物体追跡方式を実現する。 オブジェクトトラック入力は、エネルギー効率の高いディープネットワーク(EEDN)パイプラインを介してTrueNorth分類のためのスパイクに変換される。 当初収集したデータセットを使用して、ハードウェアトラックの出力に基づいてTrueNorthモデルをトレーニングし、地上の真理オブジェクトの位置を通常通り使用するのではなく、実際の監視シナリオを扱うシステムの能力を示す。 任意のパラダイムとして,ニューロモルフィックビジョンセンサ(nvs)の低レイテンシと非同期性を活用するために,各イベントを個別に処理するc++実装による連続時間トラッカを提案する。 そこで,提案手法をオブジェクト追跡と分類のための最先端のイベントベースおよびフレームベース手法と比較し,性能を犠牲にすることなくリアルタイムおよび組込みアプリケーションに対するニューロモルフィックアプローチの応用例を示した。 最後に,提案システムの有効性を標準のrgbカメラに示し,数時間のトラヒック記録の評価を行った。

関連論文リスト

• Detecting Every Object from Events [24.58024539462497]
  本稿では,イベントベースの視覚において,クラスに依存しない高速なオープンワールドオブジェクト検出を実現するためのアプローチとして,イベント中のすべてのオブジェクトの検出(DEOE)を提案する。 私たちのコードはhttps://github.com/Hatins/DEOEで公開されています。
  論文  参考訳（メタデータ） (2024-04-08T08:20:53Z)
• Exploring Dynamic Transformer for Efficient Object Tracking [58.120191254379854]
  効率的なトラッキングのための動的トランスフォーマーフレームワークであるDyTrackを提案する。 DyTrackは、様々な入力に対して適切な推論ルートを設定することを学習し、利用可能な計算予算をより活用する。 複数のベンチマークの実験では、DyTrackは単一のモデルで有望な速度精度のトレードオフを実現している。
  論文  参考訳（メタデータ） (2024-03-26T12:31:58Z)
• SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
  SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。 SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
  論文  参考訳（メタデータ） (2023-09-29T05:13:43Z)
• EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
  イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。 本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。 イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
  論文  参考訳（メタデータ） (2023-08-25T23:51:07Z)
• Event-Free Moving Object Segmentation from Moving Ego Vehicle [88.33470650615162]
  動的シーンにおけるオブジェクトセグメンテーション(MOS)の移動は、自律運転において重要で困難だが、未調査の研究テーマである。 ほとんどのセグメンテーション法は、光学フローマップから得られるモーションキューを利用する。 我々は,光学的フローに頼らずにリッチなモーションキューを提供する,より優れた映像理解のためのイベントカメラを活用することを提案する。
  論文  参考訳（メタデータ） (2023-04-28T23:43:10Z)
• EV-Catcher: High-Speed Object Catching Using Low-latency Event-based Neural Networks [107.62975594230687]
  イベントカメラが優れており、高速移動物体の衝突位置を正確に推定するアプリケーションを実証する。 イベントデータを低レイテンシでエンコードするために,Binary Event History Image(BEHI)と呼ばれる軽量なイベント表現を導入する。 計算制約のある組込みプラットフォーム上でも最大13m/sの速さで, 異なる場所をターゲットとした球のキャッチにおいて, 81%の成功率を達成することができることを示す。
  論文  参考訳（メタデータ） (2023-04-14T15:23:28Z)
• Neural Implicit Event Generator for Motion Tracking [13.312655893024658]
  暗黙の表現を用いたイベントデータからの動作追跡の新しいフレームワークを提案する。 本フレームワークは、暗黙のイベント生成(IEG)と呼ばれる事前学習イベント生成を使用し、観測されたイベントと生成されたイベントの現在の状態推定値との差に基づいて、その状態(位置と速度)を更新することで、動作追跡を行う。 我々は,騒音や背景が乱雑な環境下では,我々のフレームワークが実環境でも有効であることを確認した。
  論文  参考訳（メタデータ） (2021-11-06T07:38:52Z)
• EBBINNOT: A Hardware Efficient Hybrid Event-Frame Tracker for Stationary Dynamic Vision Sensors [5.674895233111088]
  本稿では,静止型ニューロモルフィックセンサによって記録された物体を検知・追跡するための複合イベントフレーム手法を提案する。 静的DVSの背景除去特性を活用するために,フレーム内のイベントの有無を通知するイベントベースバイナリ画像生成を提案する。 静止DVSベースのトラフィック監視ソリューションが、同時に記録されたRGBフレームベースの方法と比較されるのは、これが初めてである。
  論文  参考訳（メタデータ） (2020-05-31T03:01:35Z)
• Asynchronous Tracking-by-Detection on Adaptive Time Surfaces for Event-based Object Tracking [87.0297771292994]
  本稿では,イベントベースのトラッキング・バイ・ディテクト(ETD)手法を提案する。 この目的を達成するために,線形時間決定(ATSLTD)イベント・ツー・フレーム変換アルゴリズムを用いた適応時間曲面を提案する。 提案手法と,従来のカメラやイベントカメラをベースとした7種類のオブジェクト追跡手法と,ETDの2種類のバリエーションを比較した。
  論文  参考訳（メタデータ） (2020-02-13T15:58:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。