論文の概要: Real-Time Frame- and Event-based Object Detection with Spiking Neural Networks on Edge Neuromorphic Hardware: Design, Deployment and Benchmark
- arxiv url: http://arxiv.org/abs/2605.00146v1
- Date: Thu, 30 Apr 2026 19:07:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-04 17:43:28.718097
- Title: Real-Time Frame- and Event-based Object Detection with Spiking Neural Networks on Edge Neuromorphic Hardware: Design, Deployment and Benchmark
- Title(参考訳): エッジニューロモルフィックハードウェア上でのスパイクニューラルネットワークを用いたリアルタイムフレーム・イベントベース物体検出:設計・展開・ベンチマーク
- Authors: Udayanga G. W. K. N. Gamage, Yan Zeng, Cesar Cadena, Matteo Fumagalli, Silvia Tolu,
- Abstract要約: ニューロモルフィックハードウェア上のスパイクニューラルネットワーク(SNN)は、従来の人工ニューラルネットワーク(ANN)よりもはるかにエネルギー効率が高いと考えられている。
我々は、フレームベースとイベントベースの両方のデータセットを使用して、Intel Loihi 2上でSNNベースのオブジェクト検出をベンチマークする。
以上の結果から,Loihi 2上のSNNは,全プラットフォームで最小の参照毎の動的エネルギーを達成しつつ,リアルタイム検出が可能であることが示唆された。
- 参考スコア(独自算出の注目度): 7.858453887065058
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Real-time object detection on energy-constrained platforms is critical for applications such as UAV-based inspection, autonomous navigation, and mobile robotics. Spiking neural networks (SNNs) on neuromorphic hardware are believed to be significantly more energy-efficient than conventional artificial neural networks (ANNs). In this work, we present a comprehensive methodology for designing general SNN detection architectures targeting neuromorphic platforms, along with the engineering adaptations required to deploy them on the state-of-the-art Neuromorphic processor, Intel Loihi 2. We benchmark SNN-based object detection on Loihi 2 using both frame-based and event-based datasets, comparing performance with ANN-based detection on the NVIDIA Jetson Orin Nano, NVIDIA Jetson Nano B01, and the Apple M2 CPU. Our results show that SNNs on Loihi 2 can perform real-time detection while achieving the lowest per-inference dynamic energy among all platforms. Also, Loihi 2 outperforms the other platforms in terms of power consumption, though ANNs on Jetson Orin Nano achieve higher inference rates. Furthermore, our ANN-to-SNN distillation-aware training enables SNNs to recover 87-100% of the detection accuracy of their ANN counterparts while maintaining lower inference latency; without distillation, SNNs exhibit an 11-27% accuracy drop. These results highlight the potential of neuromorphic systems for energy-efficient, real-time object detection at the edge.
- Abstract(参考訳): エネルギー制約のあるプラットフォーム上でのリアルタイムオブジェクト検出は、UAVベースの検査、自律ナビゲーション、モバイルロボティクスなどのアプリケーションにとって重要である。
ニューロモルフィックハードウェア上のスパイクニューラルネットワーク(SNN)は、従来の人工ニューラルネットワーク(ANN)よりもはるかにエネルギー効率が高いと考えられている。
本稿では、ニューロモルフィックプラットフォームをターゲットとした一般的なSNN検出アーキテクチャを設計するための包括的な方法論と、最先端のニューロモルフィックプロセッサであるIntel Loihi 2にそれらをデプロイするために必要な工学的適応について述べる。
フレームベースとイベントベースの両方のデータセットを用いて,SNNベースのオブジェクト検出をLoihi 2上でベンチマークし,NVIDIA Jetson Orin Nano,NVIDIA Jetson Nano B01,Apple M2 CPU上でのANNベースの検出性能と比較した。
以上の結果から,Loihi 2上のSNNは,全プラットフォームで最小の参照毎の動的エネルギーを達成しつつ,リアルタイム検出が可能であることが示唆された。
また、Loihi 2は電力消費において他のプラットフォームよりも優れており、Jetson Orin Nano上のANNは高い推論率を実現している。
さらに,ANN-to-SNN蒸留を意識したトレーニングにより,低推論遅延を維持しながら,SNNの検出精度の87~100%を回復することが可能となり,蒸留なしでは11~27%の精度低下がみられた。
これらの結果は、エッジにおけるエネルギー効率の高いリアルタイム物体検出のためのニューロモルフィックシステムの可能性を強調している。
関連論文リスト
- Efficient Eye-based Emotion Recognition via Neural Architecture Search of Time-to-First-Spike-Coded Spiking Neural Networks [52.617096567601344]
Time-to-first-Spike (TTFS)で符号化されたスパイクニューラルネットワーク(SNN)は、アイベースの感情認識に有望なソリューションを提供する。
TTFS-ERは、目に基づく感情認識のためにTTFS SNN用に設計された最初のニューラルネットワーク検索フレームワークである。
ニューロモルフィックハードウェア上に展開すると、TNAS-ERは48ミリ秒の低レイテンシと0.05Jのエネルギー消費を達成する。
論文 参考訳(メタデータ) (2025-12-02T06:35:49Z) - Proxy Target: Bridging the Gap Between Discrete Spiking Neural Networks and Continuous Control [59.65431931190187]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上で低レイテンシかつエネルギー効率の意思決定を提供する。
連続制御のためのほとんどの連続制御アルゴリズムは、人工ニューラルネットワーク(ANN)のために設計されている。
このミスマッチはSNNのトレーニングを不安定にし、性能を劣化させる。
離散SNNと連続制御アルゴリズムのギャップを埋める新しいプロキシターゲットフレームワークを提案する。
論文 参考訳(メタデータ) (2025-05-30T03:08:03Z) - HDI-Former: Hybrid Dynamic Interaction ANN-SNN Transformer for Object Detection Using Frames and Events [44.20745133222306]
HDI-Formerは、高精度でエネルギー効率の良い物体検出のためのハイブリッド動的相互作用ANN-SNN変換器である。
まず,ANNトランスフォーマブランチ内の画像エンコーディングトークン間の相関性を強化する,セマンティック・エンハンスド・セルフアテンション機構を提案する。
次に、低消費電力のイベントストリームから時空間キューをモデル化するSpking Swin Transformerブランチを設計する。
論文 参考訳(メタデータ) (2024-11-27T09:32:41Z) - NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。
我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。
さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
論文 参考訳(メタデータ) (2024-08-28T02:17:58Z) - Efficient Event-Based Object Detection: A Hybrid Neural Network with Spatial and Temporal Attention [2.5075774828443467]
ニューロモルフィックハードウェア上のスパイキングニューラルネットワーク(SNN)は、エネルギー効率と低レイテンシのイベントベースのデータ処理のためにしばしば考慮される。
本稿では、イベントベースオブジェクト検出のためのアテンションベースのHybrid SNN-ANNバックボーンを紹介する。
論文 参考訳(メタデータ) (2024-03-15T10:28:31Z) - Highly Efficient SNNs for High-speed Object Detection [7.3074002563489024]
実験結果から, 物体検出タスクにおいて, 1.5MBのパラメータしか持たないGPU上で, 効率的なSNNが118倍の高速化を実現できることが示唆された。
FPGAプラットフォーム上でのSNNをさらに検証し,800以上のFPSオブジェクトを極めて低レイテンシで検出できるモデルを提案する。
論文 参考訳(メタデータ) (2023-09-27T10:31:12Z) - A Hybrid ANN-SNN Architecture for Low-Power and Low-Latency Visual Perception [27.144985031646932]
Spiking Neural Networks(SNN)は、バイオインスパイアされたニューラルネットワークの一種で、エッジデバイスに低消費電力で低レイテンシな推論をもたらすことを約束する。
イベントベース2Dおよび3Dヒューマンポーズ推定の課題について,本手法では,ANNに比べて性能を4%低下させることなく,88%の消費電力を消費することを示した。
論文 参考訳(メタデータ) (2023-03-24T17:38:45Z) - FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。
そこで本研究では、3次内積の計算複雑性を2。
性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
論文 参考訳(メタデータ) (2020-08-12T04:26:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。