論文の概要: Training Spiking Neural Networks via Augmented Direct Feedback Alignment
- arxiv url: http://arxiv.org/abs/2409.07776v1
- Date: Thu, 12 Sep 2024 06:22:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-13 17:41:46.033180
- Title: Training Spiking Neural Networks via Augmented Direct Feedback Alignment
- Title（参考訳）: 直接フィードバックアライメントによるニューラルネットワークのトレーニング
- Authors: Yongbo Zhang, Katsuma Inoue, Mitsumasa Nakajima, Toshikazu Hashimoto, Yasuo Kuniyoshi, Kohei Nakajima,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックデバイスにニューラルネットワークを実装するための有望なソリューションである。
しかし、SNNニューロンの非分化性は、それらを訓練することを困難にしている。
本稿では、ランダムなプロジェクションに基づく勾配のないアプローチである拡張直接フィードバックアライメント(aDFA)を用いてSNNの訓練を行う。
- 参考スコア（独自算出の注目度）: 3.798885293742468
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs), the models inspired by the mechanisms of real neurons in the brain, transmit and represent information by employing discrete action potentials or spikes. The sparse, asynchronous properties of information processing make SNNs highly energy efficient, leading to SNNs being promising solutions for implementing neural networks in neuromorphic devices. However, the nondifferentiable nature of SNN neurons makes it a challenge to train them. The current training methods of SNNs that are based on error backpropagation (BP) and precisely designing surrogate gradient are difficult to implement and biologically implausible, hindering the implementation of SNNs on neuromorphic devices. Thus, it is important to train SNNs with a method that is both physically implementatable and biologically plausible. In this paper, we propose using augmented direct feedback alignment (aDFA), a gradient-free approach based on random projection, to train SNNs. This method requires only partial information of the forward process during training, so it is easy to implement and biologically plausible. We systematically demonstrate the feasibility of the proposed aDFA-SNNs scheme, propose its effective working range, and analyze its well-performing settings by employing genetic algorithm. We also analyze the impact of crucial features of SNNs on the scheme, thus demonstrating its superiority and stability over BP and conventional direct feedback alignment. Our scheme can achieve competitive performance without accurate prior knowledge about the utilized system, thus providing a valuable reference for physically training SNNs.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、脳内の実際のニューロンのメカニズムにインスパイアされたモデルであり、個別の行動電位またはスパイクを用いて情報を伝達し、表現する。
情報処理の疎結合で非同期な性質により、SNNはエネルギー効率が高くなり、SNNはニューロモルフィックデバイスにニューラルネットワークを実装するための有望なソリューションとなる。
しかし、SNNニューロンの非分化性は、それらを訓練することを困難にしている。
ミスバックプロパゲーション(BP)に基づく現在のSNNのトレーニング手法は、サロゲート勾配を正確に設計することが困難であり、神経形デバイスに対するSNNの実装を妨げる。
したがって,SNNを物理的に実装可能かつ生物学的に検証可能な方法で訓練することが重要である。
本稿では、ランダムなプロジェクションに基づく勾配のないアプローチである拡張直接フィードバックアライメント(aDFA)を用いてSNNの訓練を行う。
この方法は、トレーニング中の前処理の部分的な情報のみを必要とするため、実装が容易であり、生物学的に妥当である。
本稿では,提案手法の有効性を体系的に実証し,その有効作業範囲を提案し,遺伝的アルゴリズムを用いて良好な環境条件を解析する。
また,SNNの重要特徴がスキームに与える影響を解析し,BPや従来の直接フィードバックアライメントよりも優越性と安定性を実証する。
提案手法は,有効利用システムに関する事前知識を必要とせずに,競争性能を達成し,物理的にSNNを訓練するための貴重な基準を提供する。
関連論文リスト
- BKDSNN: Enhancing the Performance of Learning-based Spiking Neural Networks Training with Blurred Knowledge Distillation [20.34272550256856]
スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークを模倣し、離散スパイクを介して情報を伝達する。
本研究は,静的およびニューロモルフィックなデータセット上でSNNをトレーニングするための最先端性能を実現する。
論文 参考訳（メタデータ） (2024-07-12T08:17:24Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - A Spatial-channel-temporal-fused Attention for Spiking Neural Networks [7.759491656618468]
スパイキングニューラルネットワーク(SNN)は、計算戦略を模倣し、情報処理においてかなりの能力を示す。
本研究では,SNNを誘導し,対象領域を効率的に捕捉する空間チャネル時間拡散アテンション(SCTFA)モジュールを提案する。
論文 参考訳（メタデータ） (2022-09-22T07:45:55Z) - Fluctuation-driven initialization for spiking neural network training [3.976291254896486]
スパイキングニューラルネットワーク(SNN)は、脳内の低出力でフォールトトレラントな情報処理を実現する。
我々は、脳内でよく見られるゆらぎ駆動型体制にインスパイアされたSNNの一般的な戦略を開発する。
論文 参考訳（メタデータ） (2022-06-21T09:48:49Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳（メタデータ） (2022-06-21T09:42:30Z) - A Synapse-Threshold Synergistic Learning Approach for Spiking Neural
Networks [1.8556712517882232]
スパイキングニューラルネットワーク(SNN)は、さまざまなインテリジェントなシナリオにおいて優れた機能を示している。
本研究では,SNNにおけるシナプス重みとスパイク閾値を同時に学習する新しいシナジー学習手法を開発する。
論文 参考訳（メタデータ） (2022-06-10T06:41:36Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Toward Robust Spiking Neural Network Against Adversarial Perturbation [22.56553160359798]
スパイキングニューラルネットワーク(SNN)は、現実の効率クリティカルなアプリケーションにますます多くデプロイされている。
研究者はすでに、SNNを敵の例で攻撃できることを実証している。
我々の知る限りでは、これはSNNの堅牢なトレーニングに関する最初の分析である。
論文 参考訳（メタデータ） (2022-04-12T21:26:49Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳（メタデータ） (2020-05-05T14:16:54Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。