論文の概要: Best of Both Worlds: Hybrid SNN-ANN Architecture for Event-based Optical
Flow Estimation
- arxiv url: http://arxiv.org/abs/2306.02960v1
- Date: Mon, 5 Jun 2023 15:26:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 14:13:20.898738
- Title: Best of Both Worlds: Hybrid SNN-ANN Architecture for Event-based Optical
Flow Estimation
- Title(参考訳): 両世界のベスト:イベントベース光フロー推定のためのハイブリッドSNN-ANNアーキテクチャ
- Authors: Shubham Negi, Deepika Sharma, Adarsh Kumar Kosta and Kaushik Roy
- Abstract要約: 非同期イベント駆動型計算でニューラルネットワーク(SNN)をスパイクすることは、イベントデータからフェールテンポラリな特徴を抽出する大きな可能性を示す。
しかし、トレーニング可能なパラメータの追加、深層での消滅、微分不可能なバイナリアクティベーション機能などにより、SNNのトレーニングは困難である。
本稿では,両者の強みを組み合わせた新しいSNN-ANNハイブリッドアーキテクチャを提案する。
- 参考スコア(独自算出の注目度): 4.7519630770389405
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event-based cameras offer a low-power alternative to frame-based cameras for
capturing high-speed motion and high dynamic range scenes. They provide
asynchronous streams of sparse events. Spiking Neural Networks (SNNs) with
their asynchronous event-driven compute, show great potential for extracting
the spatio-temporal features from these event streams. In contrast, the
standard Analog Neural Networks (ANNs1) fail to process event data effectively.
However, training SNNs is difficult due to additional trainable parameters
(thresholds and leaks), vanishing spikes at deeper layers, non-differentiable
binary activation function etc. Moreover, an additional data structure
"membrane potential" responsible for keeping track of temporal information,
must be fetched and updated at every timestep in SNNs. To overcome these, we
propose a novel SNN-ANN hybrid architecture that combines the strengths of
both. Specifically, we leverage the asynchronous compute capabilities of SNN
layers to effectively extract the input temporal information. While the ANN
layers offer trouble-free training and implementation on standard machine
learning hardware such as GPUs. We provide extensive experimental analysis for
assigning each layer to be spiking or analog in nature, leading to a network
configuration optimized for performance and ease of training. We evaluate our
hybrid architectures for optical flow estimation using event-data on DSEC-flow
and Mutli-Vehicle Stereo Event-Camera (MVSEC) datasets. The results indicate
that our configured hybrid architectures outperform the state-of-the-art
ANN-only, SNN-only and past hybrid architectures both in terms of accuracy and
efficiency. Specifically, our hybrid architecture exhibit a 31% and 24.8% lower
average endpoint error (AEE) at 2.1x and 3.1x lower energy, compared to an
SNN-only architecture on DSEC and MVSEC datasets, respectively.
- Abstract(参考訳): イベントベースのカメラはフレームベースのカメラに代わり、高速モーションとダイナミックレンジのシーンを撮影する。
スパースイベントの非同期ストリームを提供する。
非同期イベント駆動型計算でニューラルネットワーク(SNN)をスパイクすることは、これらのイベントストリームから時空間的特徴を抽出する大きな可能性を示す。
対照的に、標準的なアナログニューラルネットワーク(ANN)は、イベントデータを効率的に処理できない。
しかし、トレーニング可能なパラメータ(閾値とリーク)の追加、深い層でのスパイクの消滅、微分不可能なバイナリアクティベーション関数などにより、SNNのトレーニングは困難である。
さらに、時間的情報の追跡に責任を持つ追加のデータ構造"membrane potential"をsnsの時間ステップ毎にフェッチして更新する必要がある。
これらを克服するために,両者の強みを組み合わせた新しいSNN-ANNハイブリッドアーキテクチャを提案する。
具体的には、SNN層の非同期計算機能を活用して、入力時間情報を効果的に抽出する。
ANNレイヤは、GPUのような標準的な機械学習ハードウェア上で、トラブルのないトレーニングと実装を提供する。
そこで本研究では,各層をスパイクやアナログに割り当てる実験を行い,性能とトレーニングの容易性に最適化されたネットワーク構成を実現する。
DSEC-flowとMutli-Vehicle Stereo Event-Camera(MVSEC)データセットのイベントデータを用いた光フロー推定のためのハイブリッドアーキテクチャの評価を行った。
その結果,我々の構成したハイブリッドアーキテクチャは,精度と効率の両面で,最先端のannのみ,snnのみ,過去のハイブリッドアーキテクチャを上回っていることがわかった。
具体的には、DSECおよびMVSECデータセット上のSNNのみアーキテクチャと比較して、我々のハイブリッドアーキテクチャは平均エンドポイントエラー(AEE)が2.1倍、エネルギーが3.1倍、平均エンドポイントエラー(AEE)が24.8%低い。
関連論文リスト
- SpikeSim: An end-to-end Compute-in-Memory Hardware Evaluation Tool for
Benchmarking Spiking Neural Networks [4.0300632886917]
SpikeSimは、IMCマップされたSNNの現実的なパフォーマンス、エネルギ、レイテンシ、領域評価を実現するツールである。
神経モジュールの面積の1.24倍と10倍に減少するSNNトポロジカルな変化と全エネルギー・遅延生成値を提案する。
論文 参考訳(メタデータ) (2022-10-24T01:07:17Z) - Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking
Neural Networks with Learnable Neuronal Dynamics [6.309365332210523]
ニューラルインスパイアされたイベント駆動処理でニューラルネットワーク(SNN)をスパイクすることで、非同期データを効率的に処理できる。
スパイク消滅問題を緩和するために,学習可能な神経力学を用いた適応型完全スパイキングフレームワークを提案する。
実験の結果,平均終端誤差(AEE)は最先端のANNと比較して平均13%減少した。
論文 参考訳(メタデータ) (2022-09-21T21:17:56Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - Event-based Video Reconstruction via Potential-assisted Spiking Neural
Network [48.88510552931186]
バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。
完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。
スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
論文 参考訳(メタデータ) (2022-01-25T02:05:20Z) - Neural Architecture Search for Spiking Neural Networks [10.303676184878896]
スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わるエネルギー効率の高い代替手段として大きな注目を集めている。
従来のSNN手法のほとんどはANNのようなアーキテクチャを使用しており、これはSNNにおけるバイナリ情報の時間的シーケンス処理に準最適性能を提供する。
より優れたSNNアーキテクチャを見つけるための新しいニューラルネットワーク探索(NAS)手法を提案する。
論文 参考訳(メタデータ) (2022-01-23T16:34:27Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-12-06T23:45:58Z) - Sub-bit Neural Networks: Learning to Compress and Accelerate Binary
Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。
SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。
ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文 参考訳(メタデータ) (2021-10-18T11:30:29Z) - SpikeMS: Deep Spiking Neural Network for Motion Segmentation [7.491944503744111]
textitSpikeMSは、モーションセグメンテーションの大規模な問題に対する最初のディープエンコーダデコーダSNNアーキテクチャである。
textitSpikeMSは,テキストインクリメンタルな予測や,より少ない量のテストデータからの予測を行うことができることを示す。
論文 参考訳(メタデータ) (2021-05-13T21:34:55Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳(メタデータ) (2021-05-07T11:39:05Z) - Real-Time High-Performance Semantic Image Segmentation of Urban Street
Scenes [98.65457534223539]
都市景観のロバストなセマンティックセマンティックセグメンテーションのためのリアルタイムDCNNに基づく高速DCNN手法を提案する。
提案手法は, 51.0 fps と 39.3 fps の推論速度で, 平均 73.6% と平均 68.0% (mIoU) の精度を実現する。
論文 参考訳(メタデータ) (2020-03-11T08:45:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。