論文の概要: Efficient Event-based Semantic Segmentation with Spike-driven Lightweight Transformer-based Networks

• arxiv url: http://arxiv.org/abs/2412.12843v1
• Date: Tue, 17 Dec 2024 12:11:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 14:01:21.620902
• Title: Efficient Event-based Semantic Segmentation with Spike-driven Lightweight Transformer-based Networks
• Title（参考訳）: スパイク駆動型軽量トランスを用いた効率的なイベントベースセマンティックセマンティックセグメンテーション
• Authors: Xiaxin Zhu, Fangming Guo, Xianlei Long, Qingyi Gu, Chao Chen, Fuqiang Gu,
• Abstract要約: イベントベースのセマンティックセグメンテーションは、自動運転とロボット工学において大きな可能性を秘めている。 現在の人工知能ニューラルネットワーク(ANN)ベースのセグメンテーション手法は、高い計算要求、画像フレームの要求、膨大なエネルギー消費に悩まされている。 イベントベースセマンティックセグメンテーション用に設計されたスパイク駆動型軽量トランスフォーマーベースネットワークであるSLTNetを紹介する。
• 参考スコア（独自算出の注目度）: 7.234661153788162
• License:
• Abstract: Event-based semantic segmentation has great potential in autonomous driving and robotics due to the advantages of event cameras, such as high dynamic range, low latency, and low power cost. Unfortunately, current artificial neural network (ANN)-based segmentation methods suffer from high computational demands, the requirements for image frames, and massive energy consumption, limiting their efficiency and application on resource-constrained edge/mobile platforms. To address these problems, we introduce SLTNet, a spike-driven lightweight transformer-based network designed for event-based semantic segmentation. Specifically, SLTNet is built on efficient spike-driven convolution blocks (SCBs) to extract rich semantic features while reducing the model's parameters. Then, to enhance the long-range contextural feature interaction, we propose novel spike-driven transformer blocks (STBs) with binary mask operations. Based on these basic blocks, SLTNet employs a high-efficiency single-branch architecture while maintaining the low energy consumption of the Spiking Neural Network (SNN). Finally, extensive experiments on DDD17 and DSEC-Semantic datasets demonstrate that SLTNet outperforms state-of-the-art (SOTA) SNN-based methods by at least 7.30% and 3.30% mIoU, respectively, with extremely 5.48x lower energy consumption and 1.14x faster inference speed.
• Abstract（参考訳）: イベントベースのセマンティックセグメンテーションは、高ダイナミックレンジ、低レイテンシ、低消費電力といったイベントカメラの利点のために、自律走行とロボティクスにおいて大きな可能性を秘めている。 残念なことに、現在の人工知能ニューラルネットワーク(ANN)ベースのセグメンテーション手法は、高い計算要求、画像フレームの要求、そして膨大なエネルギー消費に悩まされており、その効率とリソース制約のあるエッジ/モバイルプラットフォームへの適用を制限している。 これらの問題に対処するために、イベントベースのセマンティックセグメンテーション用に設計されたスパイク駆動軽量トランスフォーマーベースのネットワークであるSLTNetを紹介する。 具体的には、SLTNetは効率的なスパイク駆動畳み込みブロック(SCB)上に構築され、モデルのパラメータを減らしながら、リッチなセマンティックな特徴を抽出する。 そこで本稿では,2次マスク操作を伴う新しいスパイク駆動変圧器ブロック(STB)を提案する。 これらの基本ブロックに基づいて、SLTNetはスパイキングニューラルネットワーク(SNN)の低エネルギー消費を維持しつつ、高い効率の単一ブランチアーキテクチャを採用している。 最後に、DDD17とDSEC-Semanticデータセットに関する広範な実験により、SLTNetは、最低でも7.30%と3.30% mIoUで、エネルギー消費が5.48倍、推論速度が1.14倍高速である。

関連論文リスト

• SpikeBottleNet: Spike-Driven Feature Compression Architecture for Edge-Cloud Co-Inference [0.86325068644655]
  エッジクラウドコ推論システムのための新しいアーキテクチャであるSpikeBottleNetを提案する。 SpikeBottleNetはスパイクニューロンモデルを統合し、エッジデバイスのエネルギー消費を大幅に削減する。
  論文  参考訳（メタデータ） (2024-10-11T09:59:21Z)
• EvSegSNN: Neuromorphic Semantic Segmentation for Event Data [0.6138671548064356]
  EvSegSNN は、Parametric Leaky Integrate と Fire のニューロンに依存した、生物学的に検証可能なエンコーダ-デコーダU字型アーキテクチャである。 本稿では,スパイキングニューラルネットワークとイベントカメラを組み合わせることによって,エンド・ツー・エンドのバイオインスパイアされたセマンティックセマンティックセマンティクス手法を提案する。 DDD17で実施された実験は、EvSegSNNがMIoUの観点から最も近い最先端モデルを上回っていることを示している。
  論文  参考訳（メタデータ） (2024-06-20T10:36:24Z)
• Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
  LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。 3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。 これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
  論文  参考訳（メタデータ） (2023-08-30T10:57:41Z)
• Accurate and Efficient Event-based Semantic Segmentation Using Adaptive Spiking Encoder-Decoder Network [20.05283214295881]
  イベントベースのセンサから動的に非同期な信号を処理するための有望なソリューションとして、スパイキングニューラルネットワーク(SNN)が登場している。 大規模イベントベースセマンティックセマンティックセグメンテーションタスクのための効率的なスパイキングエンコーダデコーダネットワーク(SpikingEDN)を開発した。 適応しきい値を利用して、ストリーミング推論におけるネットワーク精度、空間性、ロバスト性を改善する。
  論文  参考訳（メタデータ） (2023-04-24T07:12:50Z)
• Lightweight and Progressively-Scalable Networks for Semantic Segmentation [100.63114424262234]
  マルチスケール学習フレームワークは,セマンティックセグメンテーションを向上する有効なモデルのクラスと見なされてきた。 本稿では,畳み込みブロックの設計と,複数スケールにわたる相互作用の仕方について,徹底的に解析する。 我々は,軽量で拡張性の高いネットワーク(LPS-Net)を考案した。
  論文  参考訳（メタデータ） (2022-07-27T16:00:28Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• Energy-Efficient Model Compression and Splitting for Collaborative Inference Over Time-Varying Channels [52.60092598312894]
  本稿では,エッジノードとリモートノード間のモデル圧縮と時間変化モデル分割を利用して,エッジデバイスにおける総エネルギーコストを削減する手法を提案する。 提案手法は, 検討されたベースラインと比較して, エネルギー消費が最小限であり, 排出コストが$CO$となる。
  論文  参考訳（メタデータ） (2021-06-02T07:36:27Z)
• Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
  本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。 実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。 ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
  論文  参考訳（メタデータ） (2021-03-15T12:54:26Z)
• Dynamically Throttleable Neural Networks (TNN) [24.052859278938858]
  ディープニューラルネットワーク(DNN)の条件計算は、全体の計算負荷を削減し、ネットワークのサブセットを実行することでモデルの精度を向上させる。 我々は,自身のパフォーマンス目標と計算資源を適応的に自己制御できるランタイムスロットルブルニューラルネットワーク(TNN)を提案する。
  論文  参考訳（メタデータ） (2020-11-01T20:17:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。