論文の概要: Direct Training High-Performance Deep Spiking Neural Networks: A Review of Theories and Methods

• arxiv url: http://arxiv.org/abs/2405.04289v2
• Date: Wed, 10 Jul 2024 10:04:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 22:48:00.971433
• Title: Direct Training High-Performance Deep Spiking Neural Networks: A Review of Theories and Methods
• Title（参考訳）: 直接学習型高性能深部スパイクニューラルネットワーク:理論と方法のレビュー
• Authors: Chenlin Zhou, Han Zhang, Liutao Yu, Yumin Ye, Zhaokun Zhou, Liwei Huang, Zhengyu Ma, Xiaopeng Fan, Huihui Zhou, Yonghong Tian,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワーク(ANN)の代替として有望なエネルギー効率を提供する 本稿では,より深いSNNを高い性能で訓練するための理論と手法を要約する新しい視点を提供する。
• 参考スコア（独自算出の注目度）: 33.377770671553336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking neural networks (SNNs) offer a promising energy-efficient alternative to artificial neural networks (ANNs), in virtue of their high biological plausibility, rich spatial-temporal dynamics, and event-driven computation. The direct training algorithms based on the surrogate gradient method provide sufficient flexibility to design novel SNN architectures and explore the spatial-temporal dynamics of SNNs. According to previous studies, the performance of models is highly dependent on their sizes. Recently, direct training deep SNNs have achieved great progress on both neuromorphic datasets and large-scale static datasets. Notably, transformer-based SNNs show comparable performance with their ANN counterparts. In this paper, we provide a new perspective to summarize the theories and methods for training deep SNNs with high performance in a systematic and comprehensive way, including theory fundamentals, spiking neuron models, advanced SNN models and residual architectures, software frameworks and neuromorphic hardware, applications, and future trends. The reviewed papers are collected at https://github.com/zhouchenlin2096/Awesome-Spiking-Neural-Networks
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、その高い生物学的可視性、豊かな時空間力学、イベント駆動型計算により、人工知能ニューラルネットワーク(ANN)に代わる有望なエネルギー効率の代替を提供する。 代用勾配法に基づく直接学習アルゴリズムは、新しいSNNアーキテクチャの設計とSNNの時空間ダイナミクスの探索に十分な柔軟性を提供する。 以前の研究によると、モデルの性能はそのサイズに大きく依存している。 近年,ニューロモルフィックデータセットと大規模静的データセットの両方において,深層SNNの直接訓練が大きな進歩を遂げている。 特に、トランスフォーマーベースのSNNは、ANNと同等のパフォーマンスを示している。 本稿では,SNNの基本理論,スパイクニューロンモデル,先進的なSNNモデルと残留アーキテクチャ,ソフトウェアフレームワークとニューロモルフィックハードウェア,アプリケーション,今後のトレンドなど,高度なSNNを体系的かつ包括的に訓練するための理論と手法を要約する。 レビューされた論文はhttps://github.com/zhouchenlin2096/Awesome-Spiking-Neural-Networksで収集されている。

関連論文リスト

• Flexible and Scalable Deep Dendritic Spiking Neural Networks with Multiple Nonlinear Branching [39.664692909673086]
  本稿では,複数の樹状突起枝に非線形力学を組み込んだ樹状突起スパイクニューロン(DendSN)を提案する。 点スパイクニューロンと比較すると、デンドSNははるかに高い発現を示す。 本研究は,従来のSNNに匹敵する深度とスケールで,生物解析可能な樹状SNNを訓練する可能性を実証するものである。
  論文  参考訳（メタデータ） (2024-12-09T10:15:46Z)
• Spatial-Temporal Search for Spiking Neural Networks [32.937536365872745]
  スパイキングニューラルネットワーク(SNN)は、次世代人工知能の潜在的な候補と考えられている。 空間次元と時間次元の両方でSNNを最適化するための微分可能なアプローチを提案する。 本手法は,96.43%,78.96%,70.21%の精度でCIFAR10/100とImageNetの分類性能を比較検討した。
  論文  参考訳（メタデータ） (2024-10-24T09:32:51Z)
• SiGNN: A Spike-induced Graph Neural Network for Dynamic Graph Representation Learning [42.716744098170835]
  本研究では,動的グラフ上での時空間表現の強化を学習するための,スパイク誘発グラフニューラルネットワーク(SiGNN)という新しいフレームワークを提案する。 TA機構を利用して、SiGNNはSNNの時間的ダイナミクスを効果的に活用するだけでなく、スパイクのバイナリの性質によって課される表現的制約を積極的に回避する。 実世界の動的グラフデータセットに対する大規模な実験は、ノード分類タスクにおけるSiGNNの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-11T05:19:43Z)
• Efficient and Effective Time-Series Forecasting with Spiking Neural Networks [47.371024581669516]
  スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。 SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。 本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-02T16:23:50Z)
• SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence [51.6943465041708]
  スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。 我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
  論文  参考訳（メタデータ） (2023-10-25T13:15:17Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• A Synapse-Threshold Synergistic Learning Approach for Spiking Neural Networks [1.8556712517882232]
  スパイキングニューラルネットワーク(SNN)は、さまざまなインテリジェントなシナリオにおいて優れた機能を示している。 本研究では,SNNにおけるシナプス重みとスパイク閾値を同時に学習する新しいシナジー学習手法を開発する。
  論文  参考訳（メタデータ） (2022-06-10T06:41:36Z)
• Linear Leaky-Integrate-and-Fire Neuron Model Based Spiking Neural Networks and Its Mapping Relationship to Deep Neural Networks [7.840247953745616]
  スパイキングニューラルネットワーク(SNN)は、生物学的可視性や教師なし学習能力など、脳にインスパイアされた機械学習アルゴリズムである。 本稿では,リニアリーキー・インテグレート・アンド・ファイア・モデル(LIF/SNN)の生物学的パラメータとReLU-AN/Deep Neural Networks(DNN)のパラメータとの正確な数学的マッピングを確立する。
  論文  参考訳（メタデータ） (2022-05-31T17:02:26Z)
• Exploiting Spiking Dynamics with Spatial-temporal Feature Normalization in Graph Learning [9.88508686848173]
  内在的なダイナミクスを持つ生物学的スパイキングニューロンは、脳の強力な表現力と学習能力を持つ。 ユークリッド空間タスクを処理するためのスパイクニューラルネットワーク(SNN)の最近の進歩にもかかわらず、非ユークリッド空間データの処理においてSNNを活用することは依然として困難である。 本稿では,グラフ学習のためのSNNの直接学習を可能にする,一般的なスパイクに基づくモデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:20:16Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。