論文の概要: Accurate and Efficient Event-based Semantic Segmentation Using Adaptive
Spiking Encoder-Decoder Network
- arxiv url: http://arxiv.org/abs/2304.11857v1
- Date: Mon, 24 Apr 2023 07:12:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-25 15:59:03.830074
- Title: Accurate and Efficient Event-based Semantic Segmentation Using Adaptive
Spiking Encoder-Decoder Network
- Title（参考訳）: Adaptive Spiking Encoder-Decoder Network を用いた高精度かつ効率的なイベントベースセマンティックセマンティックセグメンテーション
- Authors: Rui Zhang, Luziwei Leng, Kaiwei Che, Hu Zhang, Jie Cheng, Qinghai Guo,
Jiangxing Liao and Ran Cheng
- Abstract要約: 大規模イベントベースセマンティックセマンティックセグメンテーションタスクのための効率的なスパイキングエンコーダデコーダネットワークを構築した。
スパイキングニューロンの固有適応閾値を利用してネットワーク活性化を変調する。
私たちのネットワーク交差点では、DDD17データセット上での平均演算(MIoU)が72.57%、新たに提案された大規模なDSEC-Semanticデータセットで57.22%のMIoUを実現しています。
- 参考スコア（独自算出の注目度）: 10.77500756739271
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Low-power event-driven computation and inherent temporal dynamics render
spiking neural networks (SNNs) ideal candidates for processing highly dynamic
and asynchronous signals from event-based sensors. However, due to the
challenges in training and architectural design constraints, there is a
scarcity of competitive demonstrations of SNNs in event-based dense prediction
compared to artificial neural networks (ANNs). In this work, we construct an
efficient spiking encoder-decoder network for large-scale event-based semantic
segmentation tasks, optimizing the encoder with hierarchical search. To improve
learning from highly dynamic event streams, we exploit the intrinsic adaptive
threshold of spiking neurons to modulate network activation. Additionally, we
develop a dual-path spiking spatially-adaptive modulation (SSAM) block to
enhance the representation of sparse events, significantly improving network
performance. Our network achieves 72.57% mean intersection over union (MIoU) on
the DDD17 dataset and 57.22% MIoU on the newly proposed larger DSEC-Semantic
dataset, surpassing current record ANNs by 4% while utilizing much lower
computation costs. To the best of our knowledge, this is the first instance of
SNNs outperforming ANNs in challenging event-based semantic segmentation tasks,
demonstrating their immense potential in event-based vision. Our code will be
publicly available.
- Abstract（参考訳）: 低消費電力のイベント駆動計算と固有の時間ダイナミクスは、イベントベースのセンサーから高ダイナミックで非同期な信号を処理するためのスパイクニューラルネットワーク(SNN)の理想的な候補をレンダリングする。
しかし、トレーニングやアーキテクチャ設計の制約により、人工知能(ANN)と比較して、イベントベースの高密度予測においてSNNの競合するデモが不足している。
本研究では,大規模イベントベースセマンティックセマンティックセグメンテーションタスクのための効率的なスパイキングエンコーダデコーダネットワークを構築し,階層探索によるエンコーダの最適化を行う。
高ダイナミックなイベントストリームからの学習を改善するために、スパイキングニューロンの固有適応閾値を利用してネットワーク活性化を調節する。
さらに、スパースイベントの表現を向上し、ネットワーク性能を大幅に向上させるために、デュアルパススパイキング空間適応変調(SSAM)ブロックを開発した。
我々のネットワークは、DDD17データセット上での平均的結合(MIoU)を72.57%、新しく提案されたDSEC-Semanticデータセットで57.22%のMIoUを達成し、計算コストを大幅に削減しつつ、現在のANNを4%上回っている。
私たちの知る限りでは、イベントベースのセマンティックセグメンテーションタスクにおいて、SNNがANNよりも優れており、イベントベースのビジョンにおいてその潜在能力を示す最初の事例です。
私たちのコードは公開されます。
関連論文リスト
- EvSegSNN: Neuromorphic Semantic Segmentation for Event Data [0.6138671548064356]
EvSegSNN は、Parametric Leaky Integrate と Fire のニューロンに依存した、生物学的に検証可能なエンコーダ-デコーダU字型アーキテクチャである。
本稿では,スパイキングニューラルネットワークとイベントカメラを組み合わせることによって,エンド・ツー・エンドのバイオインスパイアされたセマンティックセマンティックセマンティクス手法を提案する。
DDD17で実施された実験は、EvSegSNNがMIoUの観点から最も近い最先端モデルを上回っていることを示している。
論文 参考訳（メタデータ） (2024-06-20T10:36:24Z) - SERNet-Former: Semantic Segmentation by Efficient Residual Network with Attention-Boosting Gates and Attention-Fusion Networks [0.0]
本研究では,一意に効率的な残差ネットワークであるEfficient-ResNetを用いたエンコーダデコーダアーキテクチャを提案する。
アテンションブーティングゲート(AbG)とアテンションブーイングモジュール(AbM)は、グローバルコンテキストの出力の等価サイズで同変および特徴に基づく意味情報を融合することを目的として展開される。
我々のネットワークは、挑戦的なCamVidとCityscapesのデータセットでテストされており、提案手法により、残余ネットワークに対する大幅な改善が示されている。
論文 参考訳（メタデータ） (2024-01-28T19:58:19Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - DANCE: DAta-Network Co-optimization for Efficient Segmentation Model
Training and Inference [85.02494022662505]
DANCEは、効率的なセグメンテーションモデルのトレーニングと推論のための自動データネットワーク協調最適化である。
入力イメージを適応的にダウンサンプル/ドロップする自動データスライミングを統合し、画像の空間的複雑さによって導かれるトレーニング損失に対するそれに対応するコントリビューションを制御する。
実験と非難研究により、DANCEは効率的なセグメンテーションに向けて「オールウィン」を達成できることを示した。
論文 参考訳（メタデータ） (2021-07-16T04:58:58Z) - Multi-Exit Semantic Segmentation Networks [78.44441236864057]
本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。
パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。
接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
論文 参考訳（メタデータ） (2021-06-07T11:37:03Z) - SpikeMS: Deep Spiking Neural Network for Motion Segmentation [7.491944503744111]
textitSpikeMSは、モーションセグメンテーションの大規模な問題に対する最初のディープエンコーダデコーダSNNアーキテクチャである。
textitSpikeMSは,テキストインクリメンタルな予測や,より少ない量のテストデータからの予測を行うことができることを示す。
論文 参考訳（メタデータ） (2021-05-13T21:34:55Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。