論文の概要: Spike2Former: Efficient Spiking Transformer for High-performance Image Segmentation
- arxiv url: http://arxiv.org/abs/2412.14587v1
- Date: Thu, 19 Dec 2024 07:13:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-20 13:34:01.136480
- Title: Spike2Former: Efficient Spiking Transformer for High-performance Image Segmentation
- Title（参考訳）: Spike2Former: 高速画像分割のための効率的なスパイキング変換器
- Authors: Zhenxin Lei, Man Yao, Jiakui Hu, Xinhao Luo, Yanye Lu, Bo Xu, Guoqi Li,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、低消費電力の利点があるが、画像セグメンテーションタスクでは不十分である。
さまざまなセマンティックセグメンテーションデータセットにSNNの最先端を新たに設定した。
- 参考スコア（独自算出の注目度）: 16.512227318781825
- License:
- Abstract: Spiking Neural Networks (SNNs) have a low-power advantage but perform poorly in image segmentation tasks. The reason is that directly converting neural networks with complex architectural designs for segmentation tasks into spiking versions leads to performance degradation and non-convergence. To address this challenge, we first identify the modules in the architecture design that lead to the severe reduction in spike firing, make targeted improvements, and propose Spike2Former architecture. Second, we propose normalized integer spiking neurons to solve the training stability problem of SNNs with complex architectures. We set a new state-of-the-art for SNNs in various semantic segmentation datasets, with a significant improvement of +12.7% mIoU and 5.0 efficiency on ADE20K, +14.3% mIoU and 5.2 efficiency on VOC2012, and +9.1% mIoU and 6.6 efficiency on CityScapes.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は低消費電力の利点があるが、画像セグメンテーションタスクでは不十分である。
なぜなら、セグメンテーションタスクのための複雑なアーキテクチャ設計のニューラルネットワークを直接スパイクバージョンに変換することは、パフォーマンスの劣化と非収束につながるからだ。
この課題に対処するために、まず、スパイク火花の激減につながるアーキテクチャ設計のモジュールを特定し、目標とする改善を行い、Spike2Formerアーキテクチャを提案する。
第2に、複雑なアーキテクチャを持つSNNのトレーニング安定性問題を解決するために、正規化整数スパイクニューロンを提案する。
我々は、さまざまなセマンティックセグメンテーションデータセットでSNNの最先端を新たに設定し、ADE20Kの+12.7% mIoUと5.0の大幅な改善、VOC2012の+14.3% mIoUと5.2の効率、CityScapesの+9.1% mIoUと6.6の効率を実現した。
関連論文リスト
- Scaling Spike-driven Transformer with Efficient Spike Firing Approximation Training [17.193023656793464]
脳にインスパイアされたスパイキングニューラルネットワーク(SNN)の野望は、従来のニューラルネットワーク(ANN)に代わる低消費電力な代替手段になることである。
この作業は、SNNとANNのパフォーマンスギャップと、SNNの高トレーニングコストという、このビジョンを実現する上での2つの大きな課題に対処する。
本研究では,2次発火機構によるスパイクニューロンの固有の欠陥を同定し,整数学習とスパイク駆動推論を用いたスパイクフィリング近似(SFA)法を提案する。
論文 参考訳（メタデータ） (2024-11-25T03:05:41Z) - Integer-Valued Training and Spike-Driven Inference Spiking Neural Network for High-performance and Energy-efficient Object Detection [15.154553304520164]
スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)に対するバイオプラウと低消費電力のアドバンテージを持つ
本研究では,オブジェクト検出におけるANNとSNNのパフォーマンスギャップを埋めることに焦点を当てる。
我々は,バニラYOLOを単純化し,メタSNNブロックを組み込むことで,この問題を解決するためにSpikeYOLOアーキテクチャを設計する。
論文 参考訳（メタデータ） (2024-07-30T10:04:16Z) - SpikingResformer: Bridging ResNet and Vision Transformer in Spiking Neural Networks [22.665939536001797]
そこで本研究では,DSSA(Dual Spike Self-Attention)という新たな自己注意機構を提案する。
本稿では,DSSAに基づく新しいスパイキングビジョントランスフォーマーアーキテクチャであるSpikeResformerを提案する。
SpikingResformerは、他のスパイキングビジョン変換器よりも少ないパラメータと少ないエネルギー消費で高い精度を達成できることを示す。
論文 参考訳（メタデータ） (2024-03-21T11:16:42Z) - Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。
効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。
実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文 参考訳（メタデータ） (2023-07-20T16:00:19Z) - Efficient Deep Spiking Multi-Layer Perceptrons with Multiplication-Free Inference [13.924924047051782]
スパイキングニューラルネットワーク(SNN)の深部畳み込みアーキテクチャは、画像分類性能を大幅に向上し、計算負荷を低減した。
本研究は、MLP(Multi-Layer Perceptrons)の進歩からインスピレーションを得て、新しい経路を探求する。
MFIの互換性を維持するためにバッチ正規化を用いる革新的なスパイクアーキテクチャを提案する。
我々は,グローバルな受容場と局所的な特徴抽出を効果的に組み合わせた,効率的なマルチステージスパイクネットワークを構築した。
論文 参考訳（メタデータ） (2023-06-21T16:52:20Z) - Systematic Architectural Design of Scale Transformed Attention Condenser
DNNs via Multi-Scale Class Representational Response Similarity Analysis [93.0013343535411]
マルチスケールクラス表現応答類似性分析(ClassRepSim)と呼ばれる新しいタイプの分析法を提案する。
ResNetスタイルのアーキテクチャにSTACモジュールを追加すると、最大1.6%の精度が向上することを示す。
ClassRepSim分析の結果は、STACモジュールの効果的なパラメータ化を選択するために利用することができ、競争性能が向上する。
論文 参考訳（メタデータ） (2023-06-16T18:29:26Z) - RDRN: Recursively Defined Residual Network for Image Super-Resolution [58.64907136562178]
深部畳み込みニューラルネットワーク(CNN)は、単一画像超解像において顕著な性能を得た。
本稿では,注目ブロックを効率的に活用する新しいネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-11-17T11:06:29Z) - Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。
我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-29T14:16:49Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Elastic-Link for Binarized Neural Network [9.83865304744923]
ELモジュールは、その後の畳み込み出力特徴に実値入力特徴を適応的に付加することにより、BNN内の情報フローを豊かにする。
ELは、大規模なImageNetデータセットに挑戦する上で、大幅に改善されている。
ReActNetの統合により、71.9%の精度で新しい最先端結果が得られる。
論文 参考訳（メタデータ） (2021-12-19T13:49:29Z) - Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。
この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
論文 参考訳（メタデータ） (2020-08-06T04:38:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。