論文の概要: CREST: An Efficient Conjointly-trained Spike-driven Framework for Event-based Object Detection Exploiting Spatiotemporal Dynamics

• arxiv url: http://arxiv.org/abs/2412.12525v3
• Date: Sun, 19 Jan 2025 08:06:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:17:56.579352
• Title: CREST: An Efficient Conjointly-trained Spike-driven Framework for Event-based Object Detection Exploiting Spatiotemporal Dynamics
• Title（参考訳）: CREST: 時空間ダイナミクスを爆発的に検出するイベントベースのオブジェクト検出のための効率よく訓練されたスパイク駆動フレームワーク
• Authors: Ruixin Mao, Aoyu Shen, Lin Tang, Jun Zhou,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、イベントベースのオブジェクト認識と検出を約束する。 既存のSNNフレームワークは、多くの場合、マルチスケールの時間的特徴を扱うことができず、データの冗長性が向上し、精度が低下する。 我々は、イベントベースのオブジェクト検出を利用するために、結合的にトレーニングされた新しいスパイク駆動フレームワークであるCRESTを提案する。
• 参考スコア（独自算出の注目度）: 7.696109414724968
• License:
• Abstract: Event-based cameras feature high temporal resolution, wide dynamic range, and low power consumption, which is ideal for high-speed and low-light object detection. Spiking neural networks (SNNs) are promising for event-based object recognition and detection due to their spiking nature but lack efficient training methods, leading to gradient vanishing and high computational complexity, especially in deep SNNs. Additionally, existing SNN frameworks often fail to effectively handle multi-scale spatiotemporal features, leading to increased data redundancy and reduced accuracy. To address these issues, we propose CREST, a novel conjointly-trained spike-driven framework to exploit spatiotemporal dynamics in event-based object detection. We introduce the conjoint learning rule to accelerate SNN learning and alleviate gradient vanishing. It also supports dual operation modes for efficient and flexible implementation on different hardware types. Additionally, CREST features a fully spike-driven framework with a multi-scale spatiotemporal event integrator (MESTOR) and a spatiotemporal-IoU (ST-IoU) loss. Our approach achieves superior object recognition & detection performance and up to 100X energy efficiency compared with state-of-the-art SNN algorithms on three datasets, providing an efficient solution for event-based object detection algorithms suitable for SNN hardware implementation.
• Abstract（参考訳）: イベントベースのカメラは、高時間分解能、広ダイナミックレンジ、低消費電力を備え、高速で低照度な物体検出に最適である。 スパイクニューラルネットワーク(SNN)は、スパイクの性質からイベントベースのオブジェクト認識と検出を約束しているが、効率的なトレーニング方法が欠如しているため、特に深層SNNでは、勾配の消失と高い計算複雑性につながる。 さらに、既存のSNNフレームワークは、マルチスケールの時空間的特徴を効果的に扱えないことが多く、データの冗長性が向上し、精度が低下する。 これらの問題に対処するため、イベントベースのオブジェクト検出における時空間ダイナミクスを活用するために、新たにトレーニングされたスパイク駆動フレームワークであるCRESTを提案する。 我々は,SNN学習を加速し,勾配の消失を緩和する結合学習ルールを導入する。 また、異なるハードウェアタイプに対する効率的で柔軟な実装のための二重動作モードもサポートしている。 さらにCRESTは、マルチスケールの時空間イベントインテグレータ(MESTOR)と時空間IoU(ST-IoU)ロスを備えた、完全なスパイク駆動フレームワークを備えている。 提案手法は,SNNハードウェア実装に適したイベントベースオブジェクト検出アルゴリズムにおいて,3つのデータセット上での最先端SNNアルゴリズムと比較して,優れたオブジェクト認識・検出性能と最大100倍のエネルギー効率を実現する。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• PNAS-MOT: Multi-Modal Object Tracking with Pareto Neural Architecture Search [64.28335667655129]
  複数の物体追跡は、自律運転において重要な課題である。 トラッキングの精度が向上するにつれて、ニューラルネットワークはますます複雑になり、レイテンシが高いため、実際の運転シナリオにおける実践的な応用に課題が生じる。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法を用いて追跡のための効率的なアーキテクチャを探索し,比較的高い精度を維持しつつ,低リアルタイム遅延を実現することを目的とした。
  論文  参考訳（メタデータ） (2024-03-23T04:18:49Z)
• SFOD: Spiking Fusion Object Detector [10.888008544975662]
  Spiking Fusion Object Detector (SFOD)は、SNNベースのオブジェクト検出のためのシンプルで効率的なアプローチである。 我々は、イベントカメラに適用されたSNNにおいて、異なるスケールのフィーチャーマップを初めて融合させる、スパイキングフュージョンモジュールを設計する。 我々は、NCARデータセット上で93.7%の精度を達成し、SNNに基づいて最先端の分類結果を確立する。
  論文  参考訳（メタデータ） (2024-03-22T13:24:50Z)
• EAS-SNN: End-to-End Adaptive Sampling and Representation for Event-based Detection with Recurrent Spiking Neural Networks [14.046487518350792]
  スパイキングニューラルネットワーク(SNN)は、スパーススパイク通信を通じてイベント駆動の操作を行う。 本稿では,Residual potential Dropout (RPD) と Spike-Aware Training (SAT) を導入する。 我々の方法では、Gen1データセットで4.4%のmAP改善が得られ、パラメータは38%減少し、3つのタイムステップしか必要としない。
  論文  参考訳（メタデータ） (2024-03-19T09:34:11Z)
• RIDE: Real-time Intrusion Detection via Explainable Machine Learning Implemented in a Memristor Hardware Architecture [24.824596231020585]
  本稿では、パケットの任意の長さのシーケンスをよりコンパクトな結合機能埋め込みに統合するために、リカレントオートエンコーダを利用するパケットレベルのネットワーク侵入検出ソリューションを提案する。 提案手法は,パケットレベルで高い検出精度で,極めて効率的かつリアルタイムな解が得られることを示す。
  論文  参考訳（メタデータ） (2023-11-27T17:30:19Z)
• Highly Efficient SNNs for High-speed Object Detection [7.3074002563489024]
  実験結果から, 物体検出タスクにおいて, 1.5MBのパラメータしか持たないGPU上で, 効率的なSNNが118倍の高速化を実現できることが示唆された。 FPGAプラットフォーム上でのSNNをさらに検証し,800以上のFPSオブジェクトを極めて低レイテンシで検出できるモデルを提案する。
  論文  参考訳（メタデータ） (2023-09-27T10:31:12Z)
• Small Object Detection via Coarse-to-fine Proposal Generation and Imitation Learning [52.06176253457522]
  本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。 CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-08-18T13:13:09Z)
• Automotive Object Detection via Learning Sparse Events by Spiking Neurons [20.930277906912394]
  スパイキングニューラルネットワーク(SNN)は、本質的にイベントベースのデータと整合した時間的表現を提供する。 自動車のイベントベース物体検出に最適化された特化スパイキング特徴ピラミッドネットワーク(SpikeFPN)を提案する。
  論文  参考訳（メタデータ） (2023-07-24T15:47:21Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Depthwise Non-local Module for Fast Salient Object Detection Using a Single Thread [136.2224792151324]
  本稿では,高速な物体検出のための新しいディープラーニングアルゴリズムを提案する。 提案アルゴリズムは,1つのCPUスレッドと同時に,競合精度と高い推論効率を実現する。
  論文  参考訳（メタデータ） (2020-01-22T15:23:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。