論文の概要: Efficient Deep Spiking Multi-Layer Perceptrons with Multiplication-Free
Inference
- arxiv url: http://arxiv.org/abs/2306.12465v2
- Date: Mon, 12 Feb 2024 11:53:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 00:42:01.426638
- Title: Efficient Deep Spiking Multi-Layer Perceptrons with Multiplication-Free
Inference
- Title(参考訳): 乗法フリー推論による高効率深スパイキング多層パーセプトロン
- Authors: Boyan Li, Luziwei Leng, Ran Cheng, Shuaijie Shen, Kaixuan Zhang,
Jianguo Zhang, Jianxing Liao
- Abstract要約: スパイキングニューラルネットワーク(SNN)の深い畳み込みアーキテクチャは、画像分類性能を大幅に向上させた。
MFIは、高解像度の視覚タスクにおける優れた性能に重要な注意と変圧器機構と調和することができない。
MFIの互換性を維持するためにバッチ正規化を用いる革新的なスパイクアーキテクチャを提案する。
我々は,グローバルな受容場と局所的な特徴抽出を効果的に組み合わせた,効率的なマルチステージスパイクネットワークを構築した。
- 参考スコア(独自算出の注目度): 14.623199398325381
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Advancements in adapting deep convolution architectures for Spiking Neural
Networks (SNNs) have significantly enhanced image classification performance
and reduced computational burdens. However, the inability of
Multiplication-Free Inference (MFI) to harmonize with attention and transformer
mechanisms, which are critical to superior performance on high-resolution
vision tasks, imposes limitations on these gains. To address this, our research
explores a new pathway, drawing inspiration from the progress made in
Multi-Layer Perceptrons (MLPs). We propose an innovative spiking MLP
architecture that uses batch normalization to retain MFI compatibility and
introduces a spiking patch encoding layer to reinforce local feature extraction
capabilities. As a result, we establish an efficient multi-stage spiking MLP
network that effectively blends global receptive fields with local feature
extraction for comprehensive spike-based computation. Without relying on
pre-training or sophisticated SNN training techniques, our network secures a
top-1 accuracy of 66.39% on the ImageNet-1K dataset, surpassing the directly
trained spiking ResNet-34 by 2.67%. Furthermore, we curtail computational
costs, model capacity, and simulation steps. An expanded version of our network
challenges the performance of the spiking VGG-16 network with a 71.64% top-1
accuracy, all while operating with a model capacity 2.1 times smaller. Our
findings accentuate the potential of our deep SNN architecture in seamlessly
integrating global and local learning abilities. Interestingly, the trained
receptive field in our network mirrors the activity patterns of cortical cells.
- Abstract(参考訳): スパイキングニューラルネットワーク(SNN)に対する深層畳み込みアーキテクチャの適用の進歩は、画像分類性能を大幅に向上させ、計算負荷を低減させた。
しかし、高分解能ビジョンタスクの性能向上に重要な注意と変圧器機構を調和させるMFI(Multiplication-Free Inference)が存在しないため、これらの利得に制限が課せられる。
そこで本研究では,MLP(Multi-Layer Perceptrons)の進歩からインスピレーションを得て,新たな経路を探索する。
本稿では,MFIの互換性を維持するためにバッチ正規化を利用する革新的なスパイクMLPアーキテクチャを提案し,ローカル特徴抽出機能を強化するためのスパイクパッチ符号化層を提案する。
その結果,グローバルレセプティブフィールドと局所特徴抽出を効果的に融合し,スパイクに基づく包括的計算を行うマルチステージスパイクmlpネットワークを構築した。
我々のネットワークは、事前トレーニングや洗練されたSNNトレーニング技術に頼ることなく、ImageNet-1Kデータセットで66.39%のトップ1精度を確保し、直接訓練されたResNet-34を2.67%上回る。
さらに,計算コスト,モデル容量,シミュレーションステップを削減した。
我々のネットワークの拡張版は、モデル容量2.1倍の容量で運用しながら、71.64%の精度でスパイクするVGG-16ネットワークの性能に挑戦する。
我々の発見は、グローバルとローカルの学習能力をシームレスに統合する深層SNNアーキテクチャの可能性を強調した。
興味深いことに、我々のネットワークの訓練された受容野は皮質細胞の活動パターンを反映している。
関連論文リスト
- Gated Attention Coding for Training High-performance and Efficient
Spiking Neural Networks [24.02076426790748]
従来の人工ニューラルネットワーク(ANN)に代わるエネルギー効率の高い代替手段として、スパイキングニューラルネットワーク(SNN)が登場している
Gated Attention Coding (GAC) は多次元アテンションユニットを利用して入力を効率よく強力な表現に符号化するプラグイン・アンド・プレイモジュールである。
GACは、SNNのスパイク駆動特性を阻害しない前処理層として機能し、最小限の変更で効率的なニューロモルフィックの実装を可能にする。
論文 参考訳(メタデータ) (2023-08-12T14:42:02Z) - Deep Spiking-UNet for Image Processing [101.4553345195388]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。
効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。
実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文 参考訳(メタデータ) (2023-07-20T16:00:19Z) - Magic ELF: Image Deraining Meets Association Learning and Transformer [63.761812092934576]
本稿では,CNN と Transformer を統合化して,画像デライニングにおける学習のメリットを活用することを目的とする。
降雨除去と背景復旧を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。
提案手法(ELF)は,最先端手法(MPRNet)を平均0.25dB向上させる。
論文 参考訳(メタデータ) (2022-07-21T12:50:54Z) - EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for
Mobile Vision Applications [68.35683849098105]
入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。
1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。
パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
論文 参考訳(メタデータ) (2022-06-21T17:59:56Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳(メタデータ) (2022-04-22T15:56:43Z) - POEM: 1-bit Point-wise Operations based on Expectation-Maximization for
Efficient Point Cloud Processing [53.74076015905961]
我々は,効率的なポイントクラウド処理のために,期待最大化に基づくポイントワイズ処理をBNNに導入する。
私たちのPOEMは、最先端のバイナリポイントクラウドネットワークを6.7%まで大きく上回っている。
論文 参考訳(メタデータ) (2021-11-26T09:45:01Z) - Implementing a foveal-pit inspired filter in a Spiking Convolutional
Neural Network: a preliminary study [0.0]
我々は,網膜卵管刺激によるガウスフィルタとランク順符号化の差異を取り入れたスポーキング畳み込みニューラルネットワーク(SCNN)を提示した。
このモデルは、Nengoライブラリーで実装されているように、スパイキングニューロンで動作するように適応されたバックプロパゲーションアルゴリズムの変種を用いて訓練される。
ネットワークは最大90%の精度で達成され、損失はクロスエントロピー関数を用いて計算される。
論文 参考訳(メタデータ) (2021-05-29T15:28:30Z) - Ensembles of Spiking Neural Networks [0.3007949058551534]
本稿では,最先端の結果を生み出すスパイクニューラルネットワークのアンサンブルを構築する方法について述べる。
MNIST, NMNIST, DVS Gestureデータセットの分類精度は98.71%, 100.0%, 99.09%である。
我々は、スパイキングニューラルネットワークをGLM予測器として形式化し、ターゲットドメインに適した表現を識別する。
論文 参考訳(メタデータ) (2020-10-15T17:45:18Z) - When Residual Learning Meets Dense Aggregation: Rethinking the
Aggregation of Deep Neural Networks [57.0502745301132]
我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。
我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
論文 参考訳(メタデータ) (2020-04-19T08:34:52Z) - A Mean-field Analysis of Deep ResNet and Beyond: Towards Provable
Optimization Via Overparameterization From Depth [19.866928507243617]
勾配降下(SGD)を伴う深層ニューラルネットワークのトレーニングは、現実世界の風景でのトレーニング損失をゼロにすることが多い。
我々は,アラーがグローバルであるという意味で優れたトレーニングを享受する,無限大深部残差ネットワークの新たな限界を提案する。
論文 参考訳(メタデータ) (2020-03-11T20:14:47Z) - A Spike in Performance: Training Hybrid-Spiking Neural Networks with
Quantized Activation Functions [6.574517227976925]
Spiking Neural Network(SNN)は、エネルギー効率の高いコンピューティングに対する有望なアプローチである。
我々は、非スパイキングネットワークをSNNに変換する際に、最先端の精度を維持する方法を示す。
論文 参考訳(メタデータ) (2020-02-10T05:24:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。