論文の概要: Accurate and Efficient Event-based Semantic Segmentation Using Adaptive Spiking Encoder-Decoder Network

• arxiv url: http://arxiv.org/abs/2304.11857v3
• Date: Fri, 2 Aug 2024 15:43:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 19:02:21.888759
• Title: Accurate and Efficient Event-based Semantic Segmentation Using Adaptive Spiking Encoder-Decoder Network
• Title（参考訳）: Adaptive Spiking Encoder-Decoder Network を用いた高精度かつ効率的なイベントベースセマンティックセマンティックセグメンテーション
• Authors: Rui Zhang, Luziwei Leng, Kaiwei Che, Hu Zhang, Jie Cheng, Qinghai Guo, Jiangxing Liao, Ran Cheng,
• Abstract要約: イベントベースのセンサから動的に非同期な信号を処理するための有望なソリューションとして、スパイキングニューラルネットワーク(SNN)が登場している。 大規模イベントベースセマンティックセマンティックセグメンテーションタスクのための効率的なスパイキングエンコーダデコーダネットワーク(SpikingEDN)を開発した。 適応しきい値を利用して、ストリーミング推論におけるネットワーク精度、空間性、ロバスト性を改善する。
• 参考スコア（独自算出の注目度）: 20.05283214295881
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking neural networks (SNNs), known for their low-power, event-driven computation and intrinsic temporal dynamics, are emerging as promising solutions for processing dynamic, asynchronous signals from event-based sensors. Despite their potential, SNNs face challenges in training and architectural design, resulting in limited performance in challenging event-based dense prediction tasks compared to artificial neural networks (ANNs). In this work, we develop an efficient spiking encoder-decoder network (SpikingEDN) for large-scale event-based semantic segmentation tasks. To enhance the learning efficiency from dynamic event streams, we harness the adaptive threshold which improves network accuracy, sparsity and robustness in streaming inference. Moreover, we develop a dual-path Spiking Spatially-Adaptive Modulation module, which is specifically tailored to enhance the representation of sparse events and multi-modal inputs, thereby considerably improving network performance. Our SpikingEDN attains a mean intersection over union (MIoU) of 72.57\% on the DDD17 dataset and 58.32\% on the larger DSEC-Semantic dataset, showing competitive results to the state-of-the-art ANNs while requiring substantially fewer computational resources. Our results shed light on the untapped potential of SNNs in event-based vision applications. The source code will be made publicly available.
• Abstract（参考訳）: 低消費電力、イベント駆動型計算、本質的な時間ダイナミクスで知られるスパイキングニューラルネットワーク(SNN)は、イベントベースのセンサーから動的に非同期な信号を処理するための有望なソリューションとして浮上している。 その可能性にもかかわらず、SNNはトレーニングとアーキテクチャ設計の課題に直面しており、人工知能ニューラルネットワーク(ANN)と比較して、イベントベースの高密度予測タスクに挑戦する場合には、パフォーマンスが制限される。 本研究では,大規模イベントベースセマンティックセマンティックセグメンテーションタスクのための効率的なスパイキングエンコーダデコーダネットワーク(SpikingEDN)を開発した。 動的イベントストリームからの学習効率を向上させるために,適応しきい値を用いて,ストリーミング推論におけるネットワークの精度,疎性,堅牢性を向上させる。 さらに,スパースイベントやマルチモーダル入力の表現性の向上に特化して,ネットワーク性能を著しく向上させる2経路空間適応変調モジュールを開発した。 私たちのSpkingEDNは、DDD17データセットで72.57\%、より大きなDSEC-Semanticデータセットで58.32\%の平均的な結合(MIoU)を獲得し、最先端のANNと競合する結果を示しながら、計算リソースを著しく少なくする。 我々の結果は、イベントベースの視覚アプリケーションにおけるSNNの未解決の可能性に光を当てた。 ソースコードは一般公開される予定だ。

関連論文リスト

• EvSegSNN: Neuromorphic Semantic Segmentation for Event Data [0.6138671548064356]
  EvSegSNN は、Parametric Leaky Integrate と Fire のニューロンに依存した、生物学的に検証可能なエンコーダ-デコーダU字型アーキテクチャである。 本稿では,スパイキングニューラルネットワークとイベントカメラを組み合わせることによって,エンド・ツー・エンドのバイオインスパイアされたセマンティックセマンティックセマンティクス手法を提案する。 DDD17で実施された実験は、EvSegSNNがMIoUの観点から最も近い最先端モデルを上回っていることを示している。
  論文  参考訳（メタデータ） (2024-06-20T10:36:24Z)
• SERNet-Former: Semantic Segmentation by Efficient Residual Network with Attention-Boosting Gates and Attention-Fusion Networks [0.0]
  本研究では,一意に効率的な残差ネットワークであるEfficient-ResNetを用いたエンコーダデコーダアーキテクチャを提案する。 アテンションブーティングゲート(AbG)とアテンションブーイングモジュール(AbM)は、グローバルコンテキストの出力の等価サイズで同変および特徴に基づく意味情報を融合することを目的として展開される。 我々のネットワークは、挑戦的なCamVidとCityscapesのデータセットでテストされており、提案手法により、残余ネットワークに対する大幅な改善が示されている。
  論文  参考訳（メタデータ） (2024-01-28T19:58:19Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• DANCE: DAta-Network Co-optimization for Efficient Segmentation Model Training and Inference [85.02494022662505]
  DANCEは、効率的なセグメンテーションモデルのトレーニングと推論のための自動データネットワーク協調最適化である。 入力イメージを適応的にダウンサンプル/ドロップする自動データスライミングを統合し、画像の空間的複雑さによって導かれるトレーニング損失に対するそれに対応するコントリビューションを制御する。 実験と非難研究により、DANCEは効率的なセグメンテーションに向けて「オールウィン」を達成できることを示した。
  論文  参考訳（メタデータ） (2021-07-16T04:58:58Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• SpikeMS: Deep Spiking Neural Network for Motion Segmentation [7.491944503744111]
  textitSpikeMSは、モーションセグメンテーションの大規模な問題に対する最初のディープエンコーダデコーダSNNアーキテクチャである。 textitSpikeMSは,テキストインクリメンタルな予測や,より少ない量のテストデータからの予測を行うことができることを示す。
  論文  参考訳（メタデータ） (2021-05-13T21:34:55Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。