論文の概要: Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision

• arxiv url: http://arxiv.org/abs/2112.03423v1
• Date: Mon, 6 Dec 2021 23:45:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-09 04:48:43.233010
• Title: Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision
• Title（参考訳）: ハイブリッドSNN-ANN:イベントベースビジョンのためのエネルギー効率の良い分類と物体検出
• Authors: Alexander Kugele, Thomas Pfeil, Michael Pfeiffer, Elisabetta Chicca
• Abstract要約: イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 64.71260357476602
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Event-based vision sensors encode local pixel-wise brightness changes in streams of events rather than image frames and yield sparse, energy-efficient encodings of scenes, in addition to low latency, high dynamic range, and lack of motion blur. Recent progress in object recognition from event-based sensors has come from conversions of deep neural networks, trained with backpropagation. However, using these approaches for event streams requires a transformation to a synchronous paradigm, which not only loses computational efficiency, but also misses opportunities to extract spatio-temporal features. In this article we propose a hybrid architecture for end-to-end training of deep neural networks for event-based pattern recognition and object detection, combining a spiking neural network (SNN) backbone for efficient event-based feature extraction, and a subsequent analog neural network (ANN) head to solve synchronous classification and detection tasks. This is achieved by combining standard backpropagation with surrogate gradient training to propagate gradients through the SNN. Hybrid SNN-ANNs can be trained without conversion, and result in highly accurate networks that are substantially more computationally efficient than their ANN counterparts. We demonstrate results on event-based classification and object detection datasets, in which only the architecture of the ANN heads need to be adapted to the tasks, and no conversion of the event-based input is necessary. Since ANNs and SNNs require different hardware paradigms to maximize their efficiency, we envision that SNN backbone and ANN head can be executed on different processing units, and thus analyze the necessary bandwidth to communicate between the two parts. Hybrid networks are promising architectures to further advance machine learning approaches for event-based vision, without having to compromise on efficiency.
• Abstract（参考訳）: イベントベースのビジョンセンサは、画像フレームではなく、イベントストリームのピクセル単位での輝度変化をエンコードし、低レイテンシ、高ダイナミックレンジ、モーションボケの欠如に加えて、シーンの省エネでエネルギー効率のよいエンコーディングを実現する。 イベントベースのセンサによるオブジェクト認識の最近の進歩は、バックプロパゲーションでトレーニングされたディープニューラルネットワークの変換によるものだ。 しかし、これらのアプローチをイベントストリームに使用するには、計算効率を失うだけでなく、時空間の特徴を抽出する機会を逃す同期パラダイムへの変換が必要となる。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案し、効率的なイベントベースの特徴抽出のためのスパイキングニューラルネットワーク(SNN)バックボーンと、同期分類と検出タスクを解決するための後続のアナログニューラルネットワーク(ANN)ヘッドを組み合わせる。 これは、標準バックプロパゲーションと代理勾配トレーニングを組み合わせることで、SNNを通して勾配を伝搬する。 ハイブリッドSNN-ANNは変換なしで訓練でき、その結果、ANNよりも計算効率がかなり高い高精度なネットワークが得られる。 本稿では,annヘッドのアーキテクチャのみをタスクに適用し,イベントベース入力の変換を必要とせず,イベントベースの分類とオブジェクト検出データセットに関する結果を示す。 ANNとSNNは、その効率を最大化するために異なるハードウェアパラダイムを必要とするため、SNNバックボーンとANNヘッドは異なる処理ユニット上で実行可能であることを想定し、2つの部分間の通信に必要な帯域幅を解析する。 ハイブリッドネットワークは、効率を損なうことなく、イベントベースのビジョンのための機械学習アプローチをさらに前進させるアーキテクチャを約束している。

関連論文リスト

• LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks with TTFS Coding [55.64533786293656]
  我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。 この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
  論文  参考訳（メタデータ） (2023-10-23T14:26:16Z)
• Best of Both Worlds: Hybrid SNN-ANN Architecture for Event-based Optical Flow Estimation [12.611797572621398]
  非同期イベント駆動型計算でニューラルネットワーク(SNN)をスパイクすることは、イベントストリームから機能を抽出する大きな可能性を秘めている。 本稿では,両者の強みを組み合わせた新しいSNN-ANNハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-06-05T15:26:02Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Accurate and Efficient Event-based Semantic Segmentation Using Adaptive Spiking Encoder-Decoder Network [20.05283214295881]
  イベントベースのセンサから動的に非同期な信号を処理するための有望なソリューションとして、スパイキングニューラルネットワーク(SNN)が登場している。 大規模イベントベースセマンティックセマンティックセグメンテーションタスクのための効率的なスパイキングエンコーダデコーダネットワーク(SpikingEDN)を開発した。 適応しきい値を利用して、ストリーミング推論におけるネットワーク精度、空間性、ロバスト性を改善する。
  論文  参考訳（メタデータ） (2023-04-24T07:12:50Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Self-Supervised Learning of Event-Based Optical Flow with Spiking Neural Networks [3.7384509727711923]
  ニューロモルフィックコンピューティングの大きな課題は、従来の人工ニューラルネットワーク(ANN)の学習アルゴリズムがスパイクニューラルネットワーク(SNN)に直接転送されないことである。 本稿では,イベントベースカメラ入力からの光フロー推定における自己教師型学習問題に着目した。 提案するANNとSNNの性能は,自己教師型で訓練された現在の最先端のANNと同等であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T14:03:41Z)
• SpikeMS: Deep Spiking Neural Network for Motion Segmentation [7.491944503744111]
  textitSpikeMSは、モーションセグメンテーションの大規模な問題に対する最初のディープエンコーダデコーダSNNアーキテクチャである。 textitSpikeMSは,テキストインクリメンタルな予測や,より少ない量のテストデータからの予測を行うことができることを示す。
  論文  参考訳（メタデータ） (2021-05-13T21:34:55Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
  イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。 同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。 理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
  論文  参考訳（メタデータ） (2020-03-20T08:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。