論文の概要: Efficient Deep Spiking Multi-Layer Perceptrons with Multiplication-Free Inference

• arxiv url: http://arxiv.org/abs/2306.12465v2
• Date: Mon, 12 Feb 2024 11:53:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 00:42:01.426638
• Title: Efficient Deep Spiking Multi-Layer Perceptrons with Multiplication-Free Inference
• Title（参考訳）: 乗法フリー推論による高効率深スパイキング多層パーセプトロン
• Authors: Boyan Li, Luziwei Leng, Ran Cheng, Shuaijie Shen, Kaixuan Zhang, Jianguo Zhang, Jianxing Liao
• Abstract要約: スパイキングニューラルネットワーク(SNN)の深い畳み込みアーキテクチャは、画像分類性能を大幅に向上させた。 MFIは、高解像度の視覚タスクにおける優れた性能に重要な注意と変圧器機構と調和することができない。 MFIの互換性を維持するためにバッチ正規化を用いる革新的なスパイクアーキテクチャを提案する。 我々は,グローバルな受容場と局所的な特徴抽出を効果的に組み合わせた,効率的なマルチステージスパイクネットワークを構築した。
• 参考スコア（独自算出の注目度）: 14.623199398325381
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Advancements in adapting deep convolution architectures for Spiking Neural Networks (SNNs) have significantly enhanced image classification performance and reduced computational burdens. However, the inability of Multiplication-Free Inference (MFI) to harmonize with attention and transformer mechanisms, which are critical to superior performance on high-resolution vision tasks, imposes limitations on these gains. To address this, our research explores a new pathway, drawing inspiration from the progress made in Multi-Layer Perceptrons (MLPs). We propose an innovative spiking MLP architecture that uses batch normalization to retain MFI compatibility and introduces a spiking patch encoding layer to reinforce local feature extraction capabilities. As a result, we establish an efficient multi-stage spiking MLP network that effectively blends global receptive fields with local feature extraction for comprehensive spike-based computation. Without relying on pre-training or sophisticated SNN training techniques, our network secures a top-1 accuracy of 66.39% on the ImageNet-1K dataset, surpassing the directly trained spiking ResNet-34 by 2.67%. Furthermore, we curtail computational costs, model capacity, and simulation steps. An expanded version of our network challenges the performance of the spiking VGG-16 network with a 71.64% top-1 accuracy, all while operating with a model capacity 2.1 times smaller. Our findings accentuate the potential of our deep SNN architecture in seamlessly integrating global and local learning abilities. Interestingly, the trained receptive field in our network mirrors the activity patterns of cortical cells.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)に対する深層畳み込みアーキテクチャの適用の進歩は、画像分類性能を大幅に向上させ、計算負荷を低減させた。 しかし、高分解能ビジョンタスクの性能向上に重要な注意と変圧器機構を調和させるMFI(Multiplication-Free Inference)が存在しないため、これらの利得に制限が課せられる。 そこで本研究では,MLP(Multi-Layer Perceptrons)の進歩からインスピレーションを得て,新たな経路を探索する。 本稿では,MFIの互換性を維持するためにバッチ正規化を利用する革新的なスパイクMLPアーキテクチャを提案し,ローカル特徴抽出機能を強化するためのスパイクパッチ符号化層を提案する。 その結果,グローバルレセプティブフィールドと局所特徴抽出を効果的に融合し,スパイクに基づく包括的計算を行うマルチステージスパイクmlpネットワークを構築した。 我々のネットワークは、事前トレーニングや洗練されたSNNトレーニング技術に頼ることなく、ImageNet-1Kデータセットで66.39%のトップ1精度を確保し、直接訓練されたResNet-34を2.67%上回る。 さらに,計算コスト,モデル容量,シミュレーションステップを削減した。 我々のネットワークの拡張版は、モデル容量2.1倍の容量で運用しながら、71.64%の精度でスパイクするVGG-16ネットワークの性能に挑戦する。 我々の発見は、グローバルとローカルの学習能力をシームレスに統合する深層SNNアーキテクチャの可能性を強調した。 興味深いことに、我々のネットワークの訓練された受容野は皮質細胞の活動パターンを反映している。

関連論文リスト

• Scaling Spike-driven Transformer with Efficient Spike Firing Approximation Training [17.193023656793464]
  脳にインスパイアされたスパイキングニューラルネットワーク(SNN)の野望は、従来のニューラルネットワーク(ANN)に代わる低消費電力な代替手段になることである。 この作業は、SNNとANNのパフォーマンスギャップと、SNNの高トレーニングコストという、このビジョンを実現する上での2つの大きな課題に対処する。 本研究では,2次発火機構によるスパイクニューロンの固有の欠陥を同定し,整数学習とスパイク駆動推論を用いたスパイクフィリング近似(SFA)法を提案する。
  論文  参考訳（メタデータ） (2024-11-25T03:05:41Z)
• SpikingResformer: Bridging ResNet and Vision Transformer in Spiking Neural Networks [22.665939536001797]
  そこで本研究では,DSSA(Dual Spike Self-Attention)という新たな自己注意機構を提案する。 本稿では,DSSAに基づく新しいスパイキングビジョントランスフォーマーアーキテクチャであるSpikeResformerを提案する。 SpikingResformerは、他のスパイキングビジョン変換器よりも少ないパラメータと少ないエネルギー消費で高い精度を達成できることを示す。
  論文  参考訳（メタデータ） (2024-03-21T11:16:42Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Magic ELF: Image Deraining Meets Association Learning and Transformer [63.761812092934576]
  本稿では,CNN と Transformer を統合化して,画像デライニングにおける学習のメリットを活用することを目的とする。 降雨除去と背景復旧を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。 提案手法(ELF)は,最先端手法(MPRNet)を平均0.25dB向上させる。
  論文  参考訳（メタデータ） (2022-07-21T12:50:54Z)
• EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for Mobile Vision Applications [68.35683849098105]
  入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。 1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。 パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
  論文  参考訳（メタデータ） (2022-06-21T17:59:56Z)
• POEM: 1-bit Point-wise Operations based on Expectation-Maximization for Efficient Point Cloud Processing [53.74076015905961]
  我々は,効率的なポイントクラウド処理のために,期待最大化に基づくポイントワイズ処理をBNNに導入する。 私たちのPOEMは、最先端のバイナリポイントクラウドネットワークを6.7%まで大きく上回っている。
  論文  参考訳（メタデータ） (2021-11-26T09:45:01Z)
• Implementing a foveal-pit inspired filter in a Spiking Convolutional Neural Network: a preliminary study [0.0]
  我々は,網膜卵管刺激によるガウスフィルタとランク順符号化の差異を取り入れたスポーキング畳み込みニューラルネットワーク(SCNN)を提示した。 このモデルは、Nengoライブラリーで実装されているように、スパイキングニューロンで動作するように適応されたバックプロパゲーションアルゴリズムの変種を用いて訓練される。 ネットワークは最大90%の精度で達成され、損失はクロスエントロピー関数を用いて計算される。
  論文  参考訳（メタデータ） (2021-05-29T15:28:30Z)
• Ensembles of Spiking Neural Networks [0.3007949058551534]
  本稿では,最先端の結果を生み出すスパイクニューラルネットワークのアンサンブルを構築する方法について述べる。 MNIST, NMNIST, DVS Gestureデータセットの分類精度は98.71%, 100.0%, 99.09%である。 我々は、スパイキングニューラルネットワークをGLM予測器として形式化し、ターゲットドメインに適した表現を識別する。
  論文  参考訳（メタデータ） (2020-10-15T17:45:18Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。