論文の概要: Best of Both Worlds: Hybrid SNN-ANN Architecture for Event-based Optical Flow Estimation

• arxiv url: http://arxiv.org/abs/2306.02960v1
• Date: Mon, 5 Jun 2023 15:26:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 14:13:20.898738
• Title: Best of Both Worlds: Hybrid SNN-ANN Architecture for Event-based Optical Flow Estimation
• Title（参考訳）: 両世界のベスト:イベントベース光フロー推定のためのハイブリッドSNN-ANNアーキテクチャ
• Authors: Shubham Negi, Deepika Sharma, Adarsh Kumar Kosta and Kaushik Roy
• Abstract要約: 非同期イベント駆動型計算でニューラルネットワーク(SNN)をスパイクすることは、イベントデータからフェールテンポラリな特徴を抽出する大きな可能性を示す。 しかし、トレーニング可能なパラメータの追加、深層での消滅、微分不可能なバイナリアクティベーション機能などにより、SNNのトレーニングは困難である。 本稿では,両者の強みを組み合わせた新しいSNN-ANNハイブリッドアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 4.7519630770389405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event-based cameras offer a low-power alternative to frame-based cameras for capturing high-speed motion and high dynamic range scenes. They provide asynchronous streams of sparse events. Spiking Neural Networks (SNNs) with their asynchronous event-driven compute, show great potential for extracting the spatio-temporal features from these event streams. In contrast, the standard Analog Neural Networks (ANNs1) fail to process event data effectively. However, training SNNs is difficult due to additional trainable parameters (thresholds and leaks), vanishing spikes at deeper layers, non-differentiable binary activation function etc. Moreover, an additional data structure "membrane potential" responsible for keeping track of temporal information, must be fetched and updated at every timestep in SNNs. To overcome these, we propose a novel SNN-ANN hybrid architecture that combines the strengths of both. Specifically, we leverage the asynchronous compute capabilities of SNN layers to effectively extract the input temporal information. While the ANN layers offer trouble-free training and implementation on standard machine learning hardware such as GPUs. We provide extensive experimental analysis for assigning each layer to be spiking or analog in nature, leading to a network configuration optimized for performance and ease of training. We evaluate our hybrid architectures for optical flow estimation using event-data on DSEC-flow and Mutli-Vehicle Stereo Event-Camera (MVSEC) datasets. The results indicate that our configured hybrid architectures outperform the state-of-the-art ANN-only, SNN-only and past hybrid architectures both in terms of accuracy and efficiency. Specifically, our hybrid architecture exhibit a 31% and 24.8% lower average endpoint error (AEE) at 2.1x and 3.1x lower energy, compared to an SNN-only architecture on DSEC and MVSEC datasets, respectively.
• Abstract（参考訳）: イベントベースのカメラはフレームベースのカメラに代わり、高速モーションとダイナミックレンジのシーンを撮影する。 スパースイベントの非同期ストリームを提供する。 非同期イベント駆動型計算でニューラルネットワーク(SNN)をスパイクすることは、これらのイベントストリームから時空間的特徴を抽出する大きな可能性を示す。 対照的に、標準的なアナログニューラルネットワーク(ANN)は、イベントデータを効率的に処理できない。 しかし、トレーニング可能なパラメータ(閾値とリーク)の追加、深い層でのスパイクの消滅、微分不可能なバイナリアクティベーション関数などにより、SNNのトレーニングは困難である。 さらに、時間的情報の追跡に責任を持つ追加のデータ構造"membrane potential"をsnsの時間ステップ毎にフェッチして更新する必要がある。 これらを克服するために,両者の強みを組み合わせた新しいSNN-ANNハイブリッドアーキテクチャを提案する。 具体的には、SNN層の非同期計算機能を活用して、入力時間情報を効果的に抽出する。 ANNレイヤは、GPUのような標準的な機械学習ハードウェア上で、トラブルのないトレーニングと実装を提供する。 そこで本研究では,各層をスパイクやアナログに割り当てる実験を行い,性能とトレーニングの容易性に最適化されたネットワーク構成を実現する。 DSEC-flowとMutli-Vehicle Stereo Event-Camera(MVSEC)データセットのイベントデータを用いた光フロー推定のためのハイブリッドアーキテクチャの評価を行った。 その結果,我々の構成したハイブリッドアーキテクチャは,精度と効率の両面で,最先端のannのみ,snnのみ,過去のハイブリッドアーキテクチャを上回っていることがわかった。 具体的には、DSECおよびMVSECデータセット上のSNNのみアーキテクチャと比較して、我々のハイブリッドアーキテクチャは平均エンドポイントエラー(AEE)が2.1倍、エネルギーが3.1倍、平均エンドポイントエラー(AEE)が24.8%低い。

関連論文リスト

• Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
  ニューロモルフィックコンピューティングでは、スパイクニューラルネットワーク(SNN)が推論タスクを実行し、シーケンシャルデータを含むワークロードの大幅な効率向上を提供する。 ハードウェアとソフトウェアの最近の進歩は、スパイクニューロン間で交換された各スパイクに数ビットのペイロードを埋め込むことにより、推論精度をさらに高めることを示した。 本稿では,マルチレベルSNNを用いた無線ニューロモルフィック分割計算アーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2024-11-07T14:08:35Z)
• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• A Hybrid SNN-ANN Network for Event-based Object Detection with Spatial and Temporal Attention [2.5075774828443467]
  イベントカメラは、時間分解能が高く、動きのぼやけが少ないダイナミックレンジを提供し、オブジェクト検出タスクを約束する。 Spiking Neural Networks(SNN)はイベントベースの知覚データに自然に一致するが、Artificial Neural Networks(ANN)はより安定したトレーニングダイナミクスを表示する傾向がある。 イベントカメラを用いたオブジェクト検出のための,最初のハイブリッドアテンションベースのSNN-ANNバックボーンを提案する。
  論文  参考訳（メタデータ） (2024-03-15T10:28:31Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• SpikeSim: An end-to-end Compute-in-Memory Hardware Evaluation Tool for Benchmarking Spiking Neural Networks [4.0300632886917]
  SpikeSimは、IMCマップされたSNNの現実的なパフォーマンス、エネルギ、レイテンシ、領域評価を実現するツールである。 神経モジュールの面積の1.24倍と10倍に減少するSNNトポロジカルな変化と全エネルギー・遅延生成値を提案する。
  論文  参考訳（メタデータ） (2022-10-24T01:07:17Z)
• Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking Neural Networks with Learnable Neuronal Dynamics [6.309365332210523]
  ニューラルインスパイアされたイベント駆動処理でニューラルネットワーク(SNN)をスパイクすることで、非同期データを効率的に処理できる。 スパイク消滅問題を緩和するために,学習可能な神経力学を用いた適応型完全スパイキングフレームワークを提案する。 実験の結果,平均終端誤差(AEE)は最先端のANNと比較して平均13%減少した。
  論文  参考訳（メタデータ） (2022-09-21T21:17:56Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Energy-Efficient Model Compression and Splitting for Collaborative Inference Over Time-Varying Channels [52.60092598312894]
  本稿では,エッジノードとリモートノード間のモデル圧縮と時間変化モデル分割を利用して,エッジデバイスにおける総エネルギーコストを削減する手法を提案する。 提案手法は, 検討されたベースラインと比較して, エネルギー消費が最小限であり, 排出コストが$CO$となる。
  論文  参考訳（メタデータ） (2021-06-02T07:36:27Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Spike-FlowNet: Event-based Optical Flow Estimation with Energy-Efficient Hybrid Neural Networks [40.44712305614071]
  本稿では,SNNとANNを統合したディープハイブリッドニューラルネットワークアーキテクチャであるSpike-FlowNetを提案する。 このネットワークは、MVSEC(Multi-Vehicle Stereo Event Camera)データセット上で、セルフ教師付き学習でエンドツーエンドにトレーニングされている。
  論文  参考訳（メタデータ） (2020-03-14T20:37:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。