論文の概要: Accurate and Efficient Event-based Semantic Segmentation Using Adaptive
Spiking Encoder-Decoder Network
- arxiv url: http://arxiv.org/abs/2304.11857v2
- Date: Sun, 9 Jul 2023 08:30:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-11 18:36:26.883814
- Title: Accurate and Efficient Event-based Semantic Segmentation Using Adaptive
Spiking Encoder-Decoder Network
- Title（参考訳）: Adaptive Spiking Encoder-Decoder Network を用いた高精度かつ効率的なイベントベースセマンティックセマンティックセグメンテーション
- Authors: Rui Zhang, Luziwei Leng, Kaiwei Che, Hu Zhang, Jie Cheng, Qinghai Guo,
Jiangxing Liao and Ran Cheng
- Abstract要約: 本稿では,大規模なイベントベースセマンティックセマンティックセグメンテーションタスクのために設計された,効率的なスパイキングエンコーダデコーダネットワークを提案する。
動的イベントストリームからの学習を強化するために,スパイキングニューロンの固有適応しきい値を用いてネットワークの活性化を変調する。
提案したネットワークは、DDD17データセット上での平均的結合(MIoU)が72.57%、最近導入された大規模なDSEC-Semanticデータセット上で57.22%のMIoUを実現している。
- 参考スコア（独自算出の注目度）: 10.77500756739271
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Leveraging the low-power, event-driven computation and the inherent temporal
dynamics, spiking neural networks (SNNs) are potentially ideal solutions for
processing dynamic and asynchronous signals from event-based sensors. However,
due to the challenges in training and the restrictions in architectural design,
there are limited examples of competitive SNNs in the realm of event-based
dense prediction when compared to artificial neural networks (ANNs). In this
paper, we present an efficient spiking encoder-decoder network designed for
large-scale event-based semantic segmentation tasks. This is achieved by
optimizing the encoder using a hierarchical search method. To enhance learning
from dynamic event streams, we harness the inherent adaptive threshold of
spiking neurons to modulate network activation. Moreover, we introduce a
dual-path Spiking Spatially-Adaptive Modulation (SSAM) block, specifically
designed to enhance the representation of sparse events, thereby considerably
improving network performance. Our proposed network achieves a 72.57% mean
intersection over union (MIoU) on the DDD17 dataset and a 57.22% MIoU on the
recently introduced, larger DSEC-Semantic dataset. This performance surpasses
the current state-of-the-art ANNs by 4%, whilst consuming significantly less
computational resources. To the best of our knowledge, this is the first study
demonstrating SNNs outperforming ANNs in demanding event-based semantic
segmentation tasks, thereby establishing the vast potential of SNNs in the
field of event-based vision. Our source code will be made publicly accessible.
- Abstract（参考訳）: 低消費電力でイベント駆動型計算と固有の時間的ダイナミクスを活用して、スパイクニューラルネットワーク(SNN)は、イベントベースのセンサーから動的および非同期信号を処理するための、潜在的に理想的なソリューションである。
しかしながら、トレーニングの課題とアーキテクチャ設計の制約により、人工知能ニューラルネットワーク(ANN)と比較して、イベントベースの高密度予測という領域における競合するSNNの例は限られている。
本稿では,大規模なイベントベースセマンティックセマンティックセグメンテーションタスクのために設計された,効率的なスパイキングエンコーダデコーダネットワークを提案する。
これは階層探索法を用いてエンコーダを最適化することで達成される。
動的イベントストリームからの学習を強化するために,スパイキングニューロンの固有適応しきい値を用いてネットワーク活性化を変調する。
さらに,スパースイベントの表現性を高め,ネットワーク性能を著しく向上させるために,二経路空間適応変調(SSAM)ブロックを導入する。
提案するネットワークは,ddd17データセット上では72.57%,最近導入された大規模dsec-semanticデータセットでは57.22%のmiouを実現する。
この性能は、現在の最先端のANNを4%上回り、計算リソースを著しく削減している。
我々の知る限りでは、イベントベースセマンティックセグメンテーションタスクにおいて、SNNがANNよりも優れていることを示す最初の研究であり、イベントベースビジョンの分野でSNNの巨大な可能性を確立する。
私たちのソースコードは公開されます。
関連論文リスト
- EvSegSNN: Neuromorphic Semantic Segmentation for Event Data [0.6138671548064356]
EvSegSNN は、Parametric Leaky Integrate と Fire のニューロンに依存した、生物学的に検証可能なエンコーダ-デコーダU字型アーキテクチャである。
本稿では,スパイキングニューラルネットワークとイベントカメラを組み合わせることによって,エンド・ツー・エンドのバイオインスパイアされたセマンティックセマンティックセマンティクス手法を提案する。
DDD17で実施された実験は、EvSegSNNがMIoUの観点から最も近い最先端モデルを上回っていることを示している。
論文 参考訳（メタデータ） (2024-06-20T10:36:24Z) - SERNet-Former: Semantic Segmentation by Efficient Residual Network with Attention-Boosting Gates and Attention-Fusion Networks [0.0]
本研究では,一意に効率的な残差ネットワークであるEfficient-ResNetを用いたエンコーダデコーダアーキテクチャを提案する。
アテンションブーティングゲート(AbG)とアテンションブーイングモジュール(AbM)は、グローバルコンテキストの出力の等価サイズで同変および特徴に基づく意味情報を融合することを目的として展開される。
我々のネットワークは、挑戦的なCamVidとCityscapesのデータセットでテストされており、提案手法により、残余ネットワークに対する大幅な改善が示されている。
論文 参考訳（メタデータ） (2024-01-28T19:58:19Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - DANCE: DAta-Network Co-optimization for Efficient Segmentation Model
Training and Inference [85.02494022662505]
DANCEは、効率的なセグメンテーションモデルのトレーニングと推論のための自動データネットワーク協調最適化である。
入力イメージを適応的にダウンサンプル/ドロップする自動データスライミングを統合し、画像の空間的複雑さによって導かれるトレーニング損失に対するそれに対応するコントリビューションを制御する。
実験と非難研究により、DANCEは効率的なセグメンテーションに向けて「オールウィン」を達成できることを示した。
論文 参考訳（メタデータ） (2021-07-16T04:58:58Z) - Multi-Exit Semantic Segmentation Networks [78.44441236864057]
本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。
パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。
接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
論文 参考訳（メタデータ） (2021-06-07T11:37:03Z) - SpikeMS: Deep Spiking Neural Network for Motion Segmentation [7.491944503744111]
textitSpikeMSは、モーションセグメンテーションの大規模な問題に対する最初のディープエンコーダデコーダSNNアーキテクチャである。
textitSpikeMSは,テキストインクリメンタルな予測や,より少ない量のテストデータからの予測を行うことができることを示す。
論文 参考訳（メタデータ） (2021-05-13T21:34:55Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。