論文の概要: Auto-Spikformer: Spikformer Architecture Search
- arxiv url: http://arxiv.org/abs/2306.00807v1
- Date: Thu, 1 Jun 2023 15:35:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 15:08:07.730803
- Title: Auto-Spikformer: Spikformer Architecture Search
- Title(参考訳): Auto-Spikformer: Spikformerアーキテクチャ検索
- Authors: Kaiwei Che, Zhaokun Zhou, Zhengyu Ma, Wei Fang, Yanqi Chen, Shuaijie
Shen, Li Yuan, Yonghong Tian
- Abstract要約: 自己注意機構がスパイキングニューラルネットワーク(SNN)に統合された
SpikformerのようなSNNアーキテクチャの最近の進歩は、有望な成果を示している。
最適化されたSpikformerアーキテクチャの探索を自動化する一発トランスフォーマーアーキテクチャ検索(TAS)手法であるAuto-Spikformerを提案する。
- 参考スコア(独自算出の注目度): 22.332981906087785
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The integration of self-attention mechanisms into Spiking Neural Networks
(SNNs) has garnered considerable interest in the realm of advanced deep
learning, primarily due to their biological properties. Recent advancements in
SNN architecture, such as Spikformer, have demonstrated promising outcomes by
leveraging Spiking Self-Attention (SSA) and Spiking Patch Splitting (SPS)
modules. However, we observe that Spikformer may exhibit excessive energy
consumption, potentially attributable to redundant channels and blocks. To
mitigate this issue, we propose Auto-Spikformer, a one-shot Transformer
Architecture Search (TAS) method, which automates the quest for an optimized
Spikformer architecture. To facilitate the search process, we propose methods
Evolutionary SNN neurons (ESNN), which optimizes the SNN parameters, and apply
the previous method of weight entanglement supernet training, which optimizes
the Vision Transformer (ViT) parameters. Moreover, we propose an accuracy and
energy balanced fitness function $\mathcal{F}_{AEB}$ that jointly considers
both energy consumption and accuracy, and aims to find a Pareto optimal
combination that balances these two objectives. Our experimental results
demonstrate the effectiveness of Auto-Spikformer, which outperforms the
state-of-the-art method including CNN or ViT models that are manually or
automatically designed while significantly reducing energy consumption.
- Abstract(参考訳): スパイクニューラルネットワーク(snn)への自己追跡機構の統合は、その生物学的特性から、高度な深層学習の領域においてかなりの関心を集めている。
SpikformerのようなSNNアーキテクチャの最近の進歩は、Spike Self-Attention(SSA)とSpike Patch Splitting(SPS)モジュールを活用することで、有望な結果を示している。
しかし、sikformerは過剰なエネルギー消費を示し、冗長なチャネルやブロックに起因する可能性がある。
この問題を軽減するために,最適化されたSpikformerアーキテクチャの探索を自動化するワンショットトランスフォーマーアーキテクチャサーチ(TAS)手法であるAuto-Spikformerを提案する。
本研究では,snパラメータを最適化する進化的snニューロン(esnn)法を提案し,視覚トランスフォーマー(vit)パラメータを最適化する先行手法である重み絡みスーパーネットトレーニングを適用する。
さらに,エネルギー消費と精度の両方を共に考慮し,この2つの目的を両立するパレート最適組合せを見つけることを目的とした,精度とエネルギーバランスのよいフィットネス関数 $\mathcal{f}_{aeb}$ を提案する。
実験の結果,CNNモデルやVTモデルなど,手動または自動設計の最先端手法よりも効率よく,エネルギー消費を大幅に削減するAuto-Spikformerの有効性が示された。
関連論文リスト
- Spiking-PhysFormer: Camera-Based Remote Photoplethysmography with
Parallel Spike-driven Transformer [16.86534392355324]
スパイキングネットワーク(SNN)は、エネルギー効率のよいディープラーニングの可能性を秘めている。
本稿では,消費電力削減を目的としたハイブリッドニューラルネットワーク(HNN)モデルであるSpking-PhysFormerを提案する。
提案モデルでは,PhysFormerと比較して12.4%の消費電力削減を実現している。
論文 参考訳(メタデータ) (2024-02-07T12:38:47Z) - LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network
through Spatial-Temporal Compressive Network Search and Joint Optimization [51.9395471326897]
スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。
本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitESNNという新しいアプローチを提案する。
論文 参考訳(メタデータ) (2024-01-26T05:23:11Z) - SparseSpikformer: A Co-Design Framework for Token and Weight Pruning in
Spiking Transformer [12.717450255837178]
スパイキングニューラルネットワーク(SNN)は低消費電力と高エネルギー効率の利点がある。
最も先進的なSNNであるSpikformerは、Transformerの自己保持モジュールとSNNを組み合わせて、優れたパフォーマンスを実現している。
本稿では,SparseSpikformerについて紹介する。SparseSpikformerはトークンとウェイトプルーニング技術を用いてSparseSpikformerのスパーシ性を実現するための共同設計フレームワークである。
論文 参考訳(メタデータ) (2023-11-15T09:22:52Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳(メタデータ) (2023-10-25T13:15:17Z) - AutoST: Training-free Neural Architecture Search for Spiking
Transformers [14.791412391584064]
スパイキングトランスフォーマーはスパイキングニューラルネットワーク(SNN)のエネルギー効率とトランスフォーマーの高容量を実現する。
既存のスパイキングトランスフォーマーアーキテクチャは、顕著なアーキテクチャのギャップを示し、結果として準最適性能をもたらす。
我々は,高速なスパイキングトランスフォーマーアーキテクチャを高速に識別するために,スパイキングトランスフォーマーのトレーニング不要なNAS手法であるAutoSTを紹介した。
論文 参考訳(メタデータ) (2023-07-01T10:19:52Z) - Systematic Architectural Design of Scale Transformed Attention Condenser
DNNs via Multi-Scale Class Representational Response Similarity Analysis [93.0013343535411]
マルチスケールクラス表現応答類似性分析(ClassRepSim)と呼ばれる新しいタイプの分析法を提案する。
ResNetスタイルのアーキテクチャにSTACモジュールを追加すると、最大1.6%の精度が向上することを示す。
ClassRepSim分析の結果は、STACモジュールの効果的なパラメータ化を選択するために利用することができ、競争性能が向上する。
論文 参考訳(メタデータ) (2023-06-16T18:29:26Z) - Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。
我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-29T14:16:49Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳(メタデータ) (2022-06-21T09:42:30Z) - Auto-PINN: Understanding and Optimizing Physics-Informed Neural
Architecture [77.59766598165551]
物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。
本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。
標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
論文 参考訳(メタデータ) (2022-05-27T03:24:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。