論文の概要: Accurate and Efficient Event-based Semantic Segmentation Using Adaptive
Spiking Encoder-Decoder Network
- arxiv url: http://arxiv.org/abs/2304.11857v1
- Date: Mon, 24 Apr 2023 07:12:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-25 15:59:03.830074
- Title: Accurate and Efficient Event-based Semantic Segmentation Using Adaptive
Spiking Encoder-Decoder Network
- Title(参考訳): Adaptive Spiking Encoder-Decoder Network を用いた高精度かつ効率的なイベントベースセマンティックセマンティックセグメンテーション
- Authors: Rui Zhang, Luziwei Leng, Kaiwei Che, Hu Zhang, Jie Cheng, Qinghai Guo,
Jiangxing Liao and Ran Cheng
- Abstract要約: 大規模イベントベースセマンティックセマンティックセグメンテーションタスクのための効率的なスパイキングエンコーダデコーダネットワークを構築した。
スパイキングニューロンの固有適応閾値を利用してネットワーク活性化を変調する。
私たちのネットワーク交差点では、DDD17データセット上での平均演算(MIoU)が72.57%、新たに提案された大規模なDSEC-Semanticデータセットで57.22%のMIoUを実現しています。
- 参考スコア(独自算出の注目度): 10.77500756739271
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Low-power event-driven computation and inherent temporal dynamics render
spiking neural networks (SNNs) ideal candidates for processing highly dynamic
and asynchronous signals from event-based sensors. However, due to the
challenges in training and architectural design constraints, there is a
scarcity of competitive demonstrations of SNNs in event-based dense prediction
compared to artificial neural networks (ANNs). In this work, we construct an
efficient spiking encoder-decoder network for large-scale event-based semantic
segmentation tasks, optimizing the encoder with hierarchical search. To improve
learning from highly dynamic event streams, we exploit the intrinsic adaptive
threshold of spiking neurons to modulate network activation. Additionally, we
develop a dual-path spiking spatially-adaptive modulation (SSAM) block to
enhance the representation of sparse events, significantly improving network
performance. Our network achieves 72.57% mean intersection over union (MIoU) on
the DDD17 dataset and 57.22% MIoU on the newly proposed larger DSEC-Semantic
dataset, surpassing current record ANNs by 4% while utilizing much lower
computation costs. To the best of our knowledge, this is the first instance of
SNNs outperforming ANNs in challenging event-based semantic segmentation tasks,
demonstrating their immense potential in event-based vision. Our code will be
publicly available.
- Abstract(参考訳): 低消費電力のイベント駆動計算と固有の時間ダイナミクスは、イベントベースのセンサーから高ダイナミックで非同期な信号を処理するためのスパイクニューラルネットワーク(SNN)の理想的な候補をレンダリングする。
しかし、トレーニングやアーキテクチャ設計の制約により、人工知能(ANN)と比較して、イベントベースの高密度予測においてSNNの競合するデモが不足している。
本研究では,大規模イベントベースセマンティックセマンティックセグメンテーションタスクのための効率的なスパイキングエンコーダデコーダネットワークを構築し,階層探索によるエンコーダの最適化を行う。
高ダイナミックなイベントストリームからの学習を改善するために、スパイキングニューロンの固有適応閾値を利用してネットワーク活性化を調節する。
さらに、スパースイベントの表現を向上し、ネットワーク性能を大幅に向上させるために、デュアルパススパイキング空間適応変調(SSAM)ブロックを開発した。
我々のネットワークは、DDD17データセット上での平均的結合(MIoU)を72.57%、新しく提案されたDSEC-Semanticデータセットで57.22%のMIoUを達成し、計算コストを大幅に削減しつつ、現在のANNを4%上回っている。
私たちの知る限りでは、イベントベースのセマンティックセグメンテーションタスクにおいて、SNNがANNよりも優れており、イベントベースのビジョンにおいてその潜在能力を示す最初の事例です。
私たちのコードは公開されます。
関連論文リスト
- Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking
Neural Networks with Learnable Neuronal Dynamics [6.309365332210523]
ニューラルインスパイアされたイベント駆動処理でニューラルネットワーク(SNN)をスパイクすることで、非同期データを効率的に処理できる。
スパイク消滅問題を緩和するために,学習可能な神経力学を用いた適応型完全スパイキングフレームワークを提案する。
実験の結果,平均終端誤差(AEE)は最先端のANNと比較して平均13%減少した。
論文 参考訳(メタデータ) (2022-09-21T21:17:56Z) - Object Detection with Spiking Neural Networks on Automotive Event Data [0.0]
我々は、イベントカメラから直接スパイキングニューラルネットワーク(SNN)を訓練し、高速で効率的な自動車組込みアプリケーションを設計することを提案する。
本稿では,2つの自動車イベントデータセットの実験を行い,スパイクニューラルネットワークのための最先端の分類結果を確立した。
論文 参考訳(メタデータ) (2022-05-09T14:39:47Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-12-06T23:45:58Z) - Beyond Classification: Directly Training Spiking Neural Networks for
Semantic Segmentation [5.800785186389827]
ニューラルネットワークの低消費電力代替としてスパイキングニューラルネットワーク(SNN)が登場している。
本稿では,ニューロンをスパイクしたセマンティックセグメンテーションネットワークの分類を超えて,SNNの応用について検討する。
論文 参考訳(メタデータ) (2021-10-14T21:53:03Z) - Multi-Exit Semantic Segmentation Networks [78.44441236864057]
本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。
パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。
接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
論文 参考訳(メタデータ) (2021-06-07T11:37:03Z) - SpikeMS: Deep Spiking Neural Network for Motion Segmentation [7.491944503744111]
textitSpikeMSは、モーションセグメンテーションの大規模な問題に対する最初のディープエンコーダデコーダSNNアーキテクチャである。
textitSpikeMSは,テキストインクリメンタルな予測や,より少ない量のテストデータからの予測を行うことができることを示す。
論文 参考訳(メタデータ) (2021-05-13T21:34:55Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳(メタデータ) (2020-12-31T18:48:58Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。