論文の概要: Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking Neural Networks with Learnable Neuronal Dynamics

• arxiv url: http://arxiv.org/abs/2209.11741v1
• Date: Wed, 21 Sep 2022 21:17:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 13:44:52.456260
• Title: Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking Neural Networks with Learnable Neuronal Dynamics
• Title（参考訳）: Adaptive-SpikeNet:学習可能なニューラルネットワークを用いたイベントベース光フロー推定
• Authors: Adarsh Kumar Kosta and Kaushik Roy
• Abstract要約: ニューラルインスパイアされたイベント駆動処理でニューラルネットワーク(SNN)をスパイクすることで、非同期データを効率的に処理できる。 スパイク消滅問題を緩和するために,学習可能な神経力学を用いた適応型完全スパイキングフレームワークを提案する。 実験の結果,平均終端誤差(AEE)は最先端のANNと比較して平均13%減少した。
• 参考スコア（独自算出の注目度）: 6.309365332210523
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Event-based cameras have recently shown great potential for high-speed motion estimation owing to their ability to capture temporally rich information asynchronously. Spiking Neural Networks (SNNs), with their neuro-inspired event-driven processing can efficiently handle such asynchronous data, while neuron models such as the leaky-integrate and fire (LIF) can keep track of the quintessential timing information contained in the inputs. SNNs achieve this by maintaining a dynamic state in the neuron memory, retaining important information while forgetting redundant data over time. Thus, we posit that SNNs would allow for better performance on sequential regression tasks compared to similarly sized Analog Neural Networks (ANNs). However, deep SNNs are difficult to train due to vanishing spikes at later layers. To that effect, we propose an adaptive fully-spiking framework with learnable neuronal dynamics to alleviate the spike vanishing problem. We utilize surrogate gradient-based backpropagation through time (BPTT) to train our deep SNNs from scratch. We validate our approach for the task of optical flow estimation on the Multi-Vehicle Stereo Event-Camera (MVSEC) dataset and the DSEC-Flow dataset. Our experiments on these datasets show an average reduction of 13% in average endpoint error (AEE) compared to state-of-the-art ANNs. We also explore several down-scaled models and observe that our SNN models consistently outperform similarly sized ANNs offering 10%-16% lower AEE. These results demonstrate the importance of SNNs for smaller models and their suitability at the edge. In terms of efficiency, our SNNs offer substantial savings in network parameters (48x) and computational energy (51x) while attaining ~10% lower EPE compared to the state-of-the-art ANN implementations.
• Abstract（参考訳）: イベントベースカメラは, 時間的にリッチな情報を非同期にキャプチャできるため, 高速な動き推定が可能となった。 神経にインスパイアされたイベント駆動処理を備えたスパイキングニューラルネットワーク(snn)は、そのような非同期データを効率的に処理できる一方で、リークインテグレートやファイア(lif)といったニューロンモデルは、入力に含まれる重要なタイミング情報を追跡することができる。 snnはニューロンメモリの動的状態を維持し、時間とともに冗長なデータを忘れることなく重要な情報を保持することでこれを達成する。 したがって、SNNは、同様の大きさのアナログニューラルネットワーク(ANN)と比較して、逐次回帰タスクの性能を向上させることができると仮定する。 しかし、深層SNNは後層でのスパイクの消失により訓練が困難である。 そこで本研究では,学習可能なニューロン動力学を用いた適応型完全スパイキングフレームワークを提案する。 時間的勾配に基づくバックプロパゲーション(BPTT)を用いて、深いSNNをゼロから訓練する。 我々は,MVSEC(Multi-Vehicle Stereo Event-Camera)データセットとDSEC-Flowデータセットを用いた光フロー推定の課題に対するアプローチを検証する。 これらのデータセットに対する実験では,最先端のANNと比較して平均終端誤差(AEE)が平均13%減少した。 また、いくつかのダウンスケールモデルを調べ、我々のSNNモデルは、AEEが10%-16%低いANNよりも一貫して優れています。 これらの結果は、より小さなモデルに対するSNNの重要性とエッジでの適合性を示している。 効率の面では、我々のSNNはネットワークパラメータ(48倍)と計算エネルギー(51倍)の大幅な節約を提供しながら、最先端のANN実装と比較して約10%低いEPEを実現している。

関連論文リスト

• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• Efficient and Effective Time-Series Forecasting with Spiking Neural Networks [47.371024581669516]
  スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。 SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。 本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-02T16:23:50Z)
• High-performance deep spiking neural networks with 0.3 spikes per neuron [9.01407445068455]
  バイオインスパイアされたスパイクニューラルネットワーク(SNN)を人工ニューラルネットワーク(ANN)より訓練することは困難である 深部SNNモデルのトレーニングは,ANNと全く同じ性能が得られることを示す。 我々のSNNは1ニューロンあたり0.3スパイク以下で高性能な分類を行い、エネルギー効率の良い実装に役立てる。
  論文  参考訳（メタデータ） (2023-06-14T21:01:35Z)
• Best of Both Worlds: Hybrid SNN-ANN Architecture for Event-based Optical Flow Estimation [12.611797572621398]
  非同期イベント駆動型計算でニューラルネットワーク(SNN)をスパイクすることは、イベントストリームから機能を抽出する大きな可能性を秘めている。 本稿では,両者の強みを組み合わせた新しいSNN-ANNハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-06-05T15:26:02Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking Neural Networks? [3.2108350580418166]
  スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。 SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴う そこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-22T18:47:45Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• BackEISNN: A Deep Spiking Neural Network with Adaptive Self-Feedback and Balanced Excitatory-Inhibitory Neurons [8.956708722109415]
  スパイクニューラルネットワーク(SNN)は離散スパイクを通して情報を伝達し、空間時間情報を処理するのによく機能する。 適応型自己フィードバックと平衡興奮性および抑制性ニューロン(BackEISNN)を用いた深部スパイクニューラルネットワークを提案する。 MNIST、FashionMNIST、N-MNISTのデータセットに対して、我々のモデルは最先端の性能を達成した。
  論文  参考訳（メタデータ） (2021-05-27T08:38:31Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• SiamSNN: Siamese Spiking Neural Networks for Energy-Efficient Object Tracking [20.595208488431766]
  SiamSNNは、視覚オブジェクト追跡ベンチマークであるTB2013, VOT2016, GOT-10kにおいて、短いレイテンシと低い精度の損失を達成する最初のディープSNNトラッカーである。 SiamSNNは、ニューロモルフィックチップTrueNorth上で低エネルギー消費とリアルタイムを実現する。
  論文  参考訳（メタデータ） (2020-03-17T08:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。