論文の概要: Toward Large-scale Spiking Neural Networks: A Comprehensive Survey and Future Directions
- arxiv url: http://arxiv.org/abs/2409.02111v1
- Date: Mon, 19 Aug 2024 13:07:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-08 14:53:30.138681
- Title: Toward Large-scale Spiking Neural Networks: A Comprehensive Survey and Future Directions
- Title(参考訳): 大規模スパイクニューラルネットワークに向けて:包括的調査と今後の展望
- Authors: Yangfan Hu, Qian Zheng, Guoqi Li, Huajin Tang, Gang Pan,
- Abstract要約: スパイクニューラルネットワーク(SNN)は、イベント駆動スパイクによるエネルギー効率の高い計算を約束する。
本稿では、スパイキングトランスフォーマーに焦点をあて、ディープスパイキングニューラルネットワークを開発するための既存の手法について調査する。
- 参考スコア(独自算出の注目度): 38.20628045367021
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep learning has revolutionized artificial intelligence (AI), achieving remarkable progress in fields such as computer vision, speech recognition, and natural language processing. Moreover, the recent success of large language models (LLMs) has fueled a surge in research on large-scale neural networks. However, the escalating demand for computing resources and energy consumption has prompted the search for energy-efficient alternatives. Inspired by the human brain, spiking neural networks (SNNs) promise energy-efficient computation with event-driven spikes. To provide future directions toward building energy-efficient large SNN models, we present a survey of existing methods for developing deep spiking neural networks, with a focus on emerging Spiking Transformers. Our main contributions are as follows: (1) an overview of learning methods for deep spiking neural networks, categorized by ANN-to-SNN conversion and direct training with surrogate gradients; (2) an overview of network architectures for deep spiking neural networks, categorized by deep convolutional neural networks (DCNNs) and Transformer architecture; and (3) a comprehensive comparison of state-of-the-art deep SNNs with a focus on emerging Spiking Transformers. We then further discuss and outline future directions toward large-scale SNNs.
- Abstract(参考訳): ディープラーニングは人工知能(AI)に革命をもたらし、コンピュータビジョン、音声認識、自然言語処理などの分野において顕著な進歩を遂げた。
さらに、近年の大規模言語モデル(LLM)の成功により、大規模ニューラルネットワークの研究が急増している。
しかし、コンピューティング資源とエネルギー消費に対する需要が増大し、エネルギー効率の良い代替手段が探索されている。
人間の脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、イベント駆動スパイクによるエネルギー効率の高い計算を約束する。
エネルギー効率の高い大規模SNNモデルの構築に向けた今後の方向性を示すため,我々はスパイキングニューラルネットワークを開発するための既存の手法について,新しいスパイキングトランスフォーマーに着目して調査する。
主な貢献は,(1)ANN-to-SNN変換によるディープスパイキングニューラルネットワークの学習方法の概要,(2)ディープスパイキングニューラルネットワーク(DCNN)とトランスフォーマーアーキテクチャによるディープスパイキングニューラルネットワークのネットワークアーキテクチャの概要,(3)新興スパイキングトランスフォーマーに着目した最先端SNNの総合比較である。
次に,大規模SNNの今後の方向性について論じ,概説する。
関連論文リスト
- Direct Training High-Performance Deep Spiking Neural Networks: A Review of Theories and Methods [33.377770671553336]
スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワーク(ANN)の代替として有望なエネルギー効率を提供する
本稿では,より深いSNNを高い性能で訓練するための理論と手法を要約する新しい視点を提供する。
論文 参考訳(メタデータ) (2024-05-06T09:58:54Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳(メタデータ) (2023-10-25T13:15:17Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - Deep Reinforcement Learning Guided Graph Neural Networks for Brain
Network Analysis [61.53545734991802]
本稿では,各脳ネットワークに最適なGNNアーキテクチャを探索する新しい脳ネットワーク表現フレームワークBN-GNNを提案する。
提案するBN-GNNは,脳ネットワーク解析タスクにおける従来のGNNの性能を向上させる。
論文 参考訳(メタデータ) (2022-03-18T07:05:27Z) - Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。
SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
論文 参考訳(メタデータ) (2022-01-21T16:42:11Z) - Deep Spiking Convolutional Neural Network for Single Object Localization
Based On Deep Continuous Local Learning [0.0]
グレースケール画像における単一物体の局所化のための深部畳み込みスパイクニューラルネットワークを提案する。
Oxford-IIIT-Petで報告された結果は、教師付き学習アプローチによるスパイクニューラルネットワークの活用を検証する。
論文 参考訳(メタデータ) (2021-05-12T12:02:05Z) - Combining Spiking Neural Network and Artificial Neural Network for
Enhanced Image Classification [1.8411688477000185]
生物学的脳シナプスによく似たSNN(spiking neural Network)は、低消費電力のために注目を集めている。
我々は、関係する性能を改善する汎用ハイブリッドニューラルネットワーク(hnn)を構築した。
論文 参考訳(メタデータ) (2021-02-21T12:03:16Z) - Neuromorphic Processing and Sensing: Evolutionary Progression of AI to
Spiking [0.0]
スパイキングニューラルネットワークアルゴリズムは、計算と電力要求の一部を利用して高度な人工知能を実装することを約束する。
本稿では,スパイクに基づくニューロモルフィック技術の理論的研究について解説し,ハードウェアプロセッサ,ソフトウェアプラットフォーム,ニューロモルフィックセンシングデバイスの現状について概説する。
プログレクションパスは、現在の機械学習スペシャリストがスキルセットを更新し、現在の世代のディープニューラルネットワークからSNNへの分類または予測モデルを作成するために舗装されている。
論文 参考訳(メタデータ) (2020-07-10T20:54:42Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Effective and Efficient Computation with Multiple-timescale Spiking
Recurrent Neural Networks [0.9790524827475205]
本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。
我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
論文 参考訳(メタデータ) (2020-05-24T01:04:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。