論文の概要: Auto-Spikformer: Spikformer Architecture Search
- arxiv url: http://arxiv.org/abs/2306.00807v1
- Date: Thu, 1 Jun 2023 15:35:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 15:08:07.730803
- Title: Auto-Spikformer: Spikformer Architecture Search
- Title（参考訳）: Auto-Spikformer: Spikformerアーキテクチャ検索
- Authors: Kaiwei Che, Zhaokun Zhou, Zhengyu Ma, Wei Fang, Yanqi Chen, Shuaijie
Shen, Li Yuan, Yonghong Tian
- Abstract要約: 自己注意機構がスパイキングニューラルネットワーク(SNN)に統合された
SpikformerのようなSNNアーキテクチャの最近の進歩は、有望な成果を示している。
最適化されたSpikformerアーキテクチャの探索を自動化する一発トランスフォーマーアーキテクチャ検索(TAS)手法であるAuto-Spikformerを提案する。
- 参考スコア（独自算出の注目度）: 22.332981906087785
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The integration of self-attention mechanisms into Spiking Neural Networks
(SNNs) has garnered considerable interest in the realm of advanced deep
learning, primarily due to their biological properties. Recent advancements in
SNN architecture, such as Spikformer, have demonstrated promising outcomes by
leveraging Spiking Self-Attention (SSA) and Spiking Patch Splitting (SPS)
modules. However, we observe that Spikformer may exhibit excessive energy
consumption, potentially attributable to redundant channels and blocks. To
mitigate this issue, we propose Auto-Spikformer, a one-shot Transformer
Architecture Search (TAS) method, which automates the quest for an optimized
Spikformer architecture. To facilitate the search process, we propose methods
Evolutionary SNN neurons (ESNN), which optimizes the SNN parameters, and apply
the previous method of weight entanglement supernet training, which optimizes
the Vision Transformer (ViT) parameters. Moreover, we propose an accuracy and
energy balanced fitness function $\mathcal{F}_{AEB}$ that jointly considers
both energy consumption and accuracy, and aims to find a Pareto optimal
combination that balances these two objectives. Our experimental results
demonstrate the effectiveness of Auto-Spikformer, which outperforms the
state-of-the-art method including CNN or ViT models that are manually or
automatically designed while significantly reducing energy consumption.
- Abstract（参考訳）: スパイクニューラルネットワーク(snn)への自己追跡機構の統合は、その生物学的特性から、高度な深層学習の領域においてかなりの関心を集めている。
SpikformerのようなSNNアーキテクチャの最近の進歩は、Spike Self-Attention(SSA)とSpike Patch Splitting(SPS)モジュールを活用することで、有望な結果を示している。
しかし、sikformerは過剰なエネルギー消費を示し、冗長なチャネルやブロックに起因する可能性がある。
この問題を軽減するために,最適化されたSpikformerアーキテクチャの探索を自動化するワンショットトランスフォーマーアーキテクチャサーチ(TAS)手法であるAuto-Spikformerを提案する。
本研究では,snパラメータを最適化する進化的snニューロン(esnn)法を提案し,視覚トランスフォーマー(vit)パラメータを最適化する先行手法である重み絡みスーパーネットトレーニングを適用する。
さらに,エネルギー消費と精度の両方を共に考慮し,この2つの目的を両立するパレート最適組合せを見つけることを目的とした,精度とエネルギーバランスのよいフィットネス関数 $\mathcal{f}_{aeb}$ を提案する。
実験の結果,CNNモデルやVTモデルなど,手動または自動設計の最先端手法よりも効率よく,エネルギー消費を大幅に削減するAuto-Spikformerの有効性が示された。
関連論文リスト
- Q-SNNs: Quantized Spiking Neural Networks [12.719590949933105]
スパイキングニューラルネットワーク(SNN)はスパーススパイクを利用して情報を表現し、イベント駆動方式で処理する。
シナプス重みと膜電位の両方に量子化を適用する軽量でハードウェアフレンドリな量子化SNNを提案する。
本稿では,情報エントロピー理論にインスパイアされた新しいウェイトスパイクデュアルレギュレーション(WS-DR)法を提案する。
論文 参考訳（メタデータ） (2024-06-19T16:23:26Z) - SpikingResformer: Bridging ResNet and Vision Transformer in Spiking Neural Networks [22.665939536001797]
そこで本研究では,DSSA(Dual Spike Self-Attention)という新たな自己注意機構を提案する。
本稿では,DSSAに基づく新しいスパイキングビジョントランスフォーマーアーキテクチャであるSpikeResformerを提案する。
SpikingResformerは、他のスパイキングビジョン変換器よりも少ないパラメータと少ないエネルギー消費で高い精度を達成できることを示す。
論文 参考訳（メタデータ） (2024-03-21T11:16:42Z) - Spiking-PhysFormer: Camera-Based Remote Photoplethysmography with Parallel Spike-driven Transformer [15.08113674331192]
スパイキングネットワーク(SNN)は、エネルギー効率のよいディープラーニングの可能性を秘めている。
本稿では,消費電力削減を目的としたハイブリッドニューラルネットワーク(HNN)モデルであるSpking-PhysFormerを提案する。
提案モデルでは,PhysFormerと比較して12.4%の消費電力削減を実現している。
論文 参考訳（メタデータ） (2024-02-07T12:38:47Z) - LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。
本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-26T05:23:11Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳（メタデータ） (2023-10-25T13:15:17Z) - AutoST: Training-free Neural Architecture Search for Spiking
Transformers [14.791412391584064]
スパイキングトランスフォーマーはスパイキングニューラルネットワーク(SNN)のエネルギー効率とトランスフォーマーの高容量を実現する。
既存のスパイキングトランスフォーマーアーキテクチャは、顕著なアーキテクチャのギャップを示し、結果として準最適性能をもたらす。
我々は,高速なスパイキングトランスフォーマーアーキテクチャを高速に識別するために,スパイキングトランスフォーマーのトレーニング不要なNAS手法であるAutoSTを紹介した。
論文 参考訳（メタデータ） (2023-07-01T10:19:52Z) - Systematic Architectural Design of Scale Transformed Attention Condenser
DNNs via Multi-Scale Class Representational Response Similarity Analysis [93.0013343535411]
マルチスケールクラス表現応答類似性分析(ClassRepSim)と呼ばれる新しいタイプの分析法を提案する。
ResNetスタイルのアーキテクチャにSTACモジュールを追加すると、最大1.6%の精度が向上することを示す。
ClassRepSim分析の結果は、STACモジュールの効果的なパラメータ化を選択するために利用することができ、競争性能が向上する。
論文 参考訳（メタデータ） (2023-06-16T18:29:26Z) - A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。
Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。
我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
論文 参考訳（メタデータ） (2022-10-27T13:24:08Z) - Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。
我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-29T14:16:49Z) - Auto-PINN: Understanding and Optimizing Physics-Informed Neural
Architecture [77.59766598165551]
物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。
本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。
標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
論文 参考訳（メタデータ） (2022-05-27T03:24:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。