論文の概要: Scaling SNNs Trained Using Equilibrium Propagation to Convolutional Architectures

• arxiv url: http://arxiv.org/abs/2405.02546v2
• Date: Mon, 1 Jul 2024 17:41:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-02 14:10:11.654900
• Title: Scaling SNNs Trained Using Equilibrium Propagation to Convolutional Architectures
• Title（参考訳）: 進化的アーキテクチャへの平衡伝播を用いたSNNのスケーリング
• Authors: Jiaqi Lin, Malyaban Bal, Abhronil Sengupta,
• Abstract要約: 平衡伝播(Equilibrium Propagation、EP)は、収束性リカレントニューラルネットワーク(RNN)のために開発された生物学的に妥当な局所学習アルゴリズムである。 EPは、BPTTによって訓練されるスパイキングニューラルネットワーク(SNN)をトレーニングする強力な候補である。 本稿では,EP を用いた畳み込みスパイク収束 RNN の訓練のための定式化を行い,スパイク収束 RNN と非スパイク収束 RNN とのギャップを埋める。
• 参考スコア（独自算出の注目度）: 2.2146860305758485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Equilibrium Propagation (EP) is a biologically plausible local learning algorithm initially developed for convergent recurrent neural networks (RNNs), where weight updates rely solely on the connecting neuron states across two phases. The gradient calculations in EP have been shown to approximate the gradients computed by Backpropagation Through Time (BPTT) when an infinitesimally small nudge factor is used. This property makes EP a powerful candidate for training Spiking Neural Networks (SNNs), which are commonly trained by BPTT. However, in the spiking domain, previous studies on EP have been limited to architectures involving few linear layers. In this work, for the first time we provide a formulation for training convolutional spiking convergent RNNs using EP, bridging the gap between spiking and non-spiking convergent RNNs. We demonstrate that for spiking convergent RNNs, there is a mismatch in the maximum pooling and its inverse operation, leading to inaccurate gradient estimation in EP. Substituting this with average pooling resolves this issue and enables accurate gradient estimation for spiking convergent RNNs. We also highlight the memory efficiency of EP compared to BPTT. In the regime of SNNs trained by EP, our experimental results indicate state-of-the-art performance on the MNIST and FashionMNIST datasets, with test errors of 0.97% and 8.89%, respectively. These results are comparable to those of convergent RNNs and SNNs trained by BPTT. These findings underscore EP as an optimal choice for on-chip training and a biologically-plausible method for computing error gradients.
• Abstract（参考訳）: 平衡伝播(Equilibrium Propagation、EP)は、当初は収束性再帰ニューラルネットワーク(RNN)のために開発された生物学的に妥当な局所学習アルゴリズムである。 EPの勾配計算は、無限小のヌッジ係数を用いる場合、BPTT(Back Proagation Through Time)によって計算される勾配を近似することが示されている。 この特性により、EPはBPTTによって訓練されるスパイキングニューラルネットワーク(SNN)をトレーニングするための強力な候補となる。 しかし、スパイク領域では、EPに関する以前の研究は、少数の線形層を含むアーキテクチャに限られていた。 本研究では,EPを用いた畳み込みスパイク収束RNNと非スパイク収束RNNとのギャップを埋めて,初めて畳み込みスパイク収束RNNを訓練するための定式化を行う。 本研究では, 収束RNNをスパイクする場合, 最大プールと逆演算にミスマッチがあり, EPにおける不正確な勾配推定が導かれることを示した。 これを平均プールに置き換えることでこの問題を解決し、スパイク収束RNNの正確な勾配推定を可能にする。 また,BPTTと比較してEPのメモリ効率を強調した。 EPによりトレーニングされたSNNでは,MNISTデータセットとFashionMNISTデータセットの最先端性能がそれぞれ0.97%,8.89%であった。 これらの結果はBPTTで訓練された収束RNNやSNNと同等である。 これらの結果から,EPはオンチップトレーニングの最適選択であり,生物学的に予測可能な誤差勾配計算法であることが示された。

関連論文リスト

• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Enforcing Continuous Physical Symmetries in Deep Learning Network for Solving Partial Differential Equations [3.6317085868198467]
  我々は,PDEのリー対称性によって誘導される不変表面条件をPINNの損失関数に組み込む,新しい対称性を持つ物理情報ニューラルネットワーク(SPINN)を提案する。 SPINNは、トレーニングポイントが少なく、ニューラルネットワークのよりシンプルなアーキテクチャで、PINNよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-06-19T00:44:22Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• BioGrad: Biologically Plausible Gradient-Based Learning for Spiking Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、AI問題に対するエネルギー効率が高く、非常に並列で、低レイテンシのソリューションを提供している。 これらの計算的利点を利用するには、SNNは脳にインスパイアされたニューロモルフィックの原則に従う学習アルゴリズムによって訓練される必要がある。 本稿では,機能的にバックプロップと等価なSNNのための生物学的に妥当な勾配に基づく学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-27T00:07:25Z)
• Spike time displacement based error backpropagation in convolutional spiking neural networks [0.6193838300896449]
  本稿では,STiDi-BPアルゴリズムを拡張し,より深く,畳み込み型アーキテクチャに応用する。 MNISTとFashion-MNISTの2つのベンチマークに基づく画像分類タスクの評価結果から,このアルゴリズムが深部SNNに適用可能であることを確認した。 後進パスで更新される実数値重みと、フィードフォワードプロセスで使用される2値重みと、その記号と2値重みの2つの重みを持つ畳み込みSNNを考える。
  論文  参考訳（メタデータ） (2021-08-31T05:18:59Z)
• Tuning Convolutional Spiking Neural Network with Biologically-plausible Reward Propagation [13.037452551907657]
  スパイキングニューラルネットワーク(SNN)は、より生物学的に現実的な構造と生物学的に着想を得た学習原則を含んでいる。 BRPアルゴリズムはスパイキング畳み込み層とフル接続層の両方でSNNアーキテクチャに適用される。
  論文  参考訳（メタデータ） (2020-10-09T08:42:13Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
  実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
  論文  参考訳（メタデータ） (2020-06-06T09:36:07Z)
• Continual Weight Updates and Convolutional Architectures for Equilibrium Propagation [69.87491240509485]
  Equilibrium Propagation (EP)は、ニューラルネットワークのトレーニングのためのバックプロパゲーション(BP)に対する生物学的にインスパイアされた代替アルゴリズムである。 本稿では,方程式の簡易化,学習の高速化,CNNへのEP拡張を可能にするEPの離散時間定式化を提案する。 我々のCNNモデルは、EPでMNISTで報告された最高のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-04-29T12:14:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。