論文の概要: Energy Efficient Training of SNN using Local Zeroth Order Method

• arxiv url: http://arxiv.org/abs/2302.00910v1
• Date: Thu, 2 Feb 2023 06:57:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-03 15:05:58.142657
• Title: Energy Efficient Training of SNN using Local Zeroth Order Method
• Title（参考訳）: 局所零次法を用いたSNNのエネルギー効率向上
• Authors: Bhaskar Mukhoty, Velibor Bojkovic, William de Vazelhes, Huan Xiong, Bin Gu, Giulia De Masi
• Abstract要約: ニューラルネットワークのスパイクは、現実世界のタスクにおける低エネルギー要求でますます人気が高まっている。 SNNトレーニングアルゴリズムは、Heaviside関数による勾配情報と非微分可能性の喪失に直面している。 本稿では,後方パスにおけるHeavisideの微分可能近似を提案し,前方パスはHeavisideをスパイク関数として利用する。
• 参考スコア（独自算出の注目度）: 18.81001891391638
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking neural networks are becoming increasingly popular for their low energy requirement in real-world tasks with accuracy comparable to the traditional ANNs. SNN training algorithms face the loss of gradient information and non-differentiability due to the Heaviside function in minimizing the model loss over model parameters. To circumvent the problem surrogate method uses a differentiable approximation of the Heaviside in the backward pass, while the forward pass uses the Heaviside as the spiking function. We propose to use the zeroth order technique at the neuron level to resolve this dichotomy and use it within the automatic differentiation tool. As a result, we establish a theoretical connection between the proposed local zeroth-order technique and the existing surrogate methods and vice-versa. The proposed method naturally lends itself to energy-efficient training of SNNs on GPUs. Experimental results with neuromorphic datasets show that such implementation requires less than 1 percent neurons to be active in the backward pass, resulting in a 100x speed-up in the backward computation time. Our method offers better generalization compared to the state-of-the-art energy-efficient technique while maintaining similar efficiency.
• Abstract（参考訳）: スパイクニューラルネットワークは、従来のANNに匹敵する精度で現実世界のタスクにおいて、低エネルギー要求のために人気が高まっている。 snnトレーニングアルゴリズムは、モデルパラメータに対するモデル損失を最小限に抑えるため、ヘビーサイド関数による勾配情報の損失と非微分可能性に直面する。 問題サーロゲート法は後方パスにおけるヘビーサイドの微分可能な近似を用い、前方パスはスパイキング関数としてヘビーサイドを用いる。 本稿では, ニューロンレベルでゼロオーダー法を用いて, この二分法を解き, 自動微分ツールで用いることを提案する。 その結果,提案手法と既存のサロゲート法と逆転法とを理論的に関連付けることができた。 提案手法は,GPU上でのSNNのエネルギー効率向上に自然に寄与する。 ニューロモルフィックデータセットを用いた実験の結果、このような実装では1%未満のニューロンが後方通行で活動する必要があり、結果として後方計算時間の100倍のスピードアップが得られた。 本手法は, 同様の効率を保ちながら, 最先端のエネルギー効率技術よりも優れた一般化を実現する。

関連論文リスト

• Temporal Reversed Training for Spiking Neural Networks with Generalized Spatio-Temporal Representation [3.5624857747396814]
  スパイニューラルネットワーク(SNN)は、超低エネルギーコンピューティングパラダイムとして広く注目を集めている。 近年,SNNの特徴抽出能力の向上に焦点が当てられているが,非効率性や準最適性能に悩まされている。 私たち。 SNNの時間的性能を最適化するために,TRT法を提案する。
  論文  参考訳（メタデータ） (2024-08-17T06:23:38Z)
• Online Pseudo-Zeroth-Order Training of Neuromorphic Spiking Neural Networks [69.2642802272367]
  スパイクニューラルネットワーク(SNN)を用いた脳誘発ニューロモルフィックコンピューティングは、有望なエネルギー効率の計算手法である。 最近の手法では、空間的および時間的バックプロパゲーション(BP)を利用しており、ニューロモルフィックの性質に固執していない。 オンライン擬似ゼロオーダートレーニング(OPZO)を提案する。
  論文  参考訳（メタデータ） (2024-07-17T12:09:00Z)
• FTBC: Forward Temporal Bias Correction for Optimizing ANN-SNN Conversion [16.9748086865693]
  Spiking Neural Networks(SNN)は、ニューラルネットワーク(ANN)と比較して、エネルギー効率の高いコンピューティングのための有望な道を提供する 本稿では,計算オーバーヘッドを伴わずに変換精度を向上させることを目的とした,FTBC(Forward Temporal Bias)技術を紹介する。 さらに,前方通過のみの時間偏差を求めるアルゴリズムを提案し,逆伝播の計算負担を軽減した。
  論文  参考訳（メタデータ） (2024-03-27T09:25:20Z)
• Artificial to Spiking Neural Networks Conversion for Scientific Machine Learning [24.799635365988905]
  物理インフォームドニューラルネットワーク(PINN)をスパイキングニューラルネットワーク(SNN)に変換する手法を提案する。 SNNは従来のニューラルネットワーク(ANN)と比較してエネルギー効率が高いと期待されている
  論文  参考訳（メタデータ） (2023-08-31T00:21:27Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Temporal Efficient Training of Spiking Neural Network via Gradient Re-weighting [29.685909045226847]
  脳にインスパイアされたスパイクニューロンネットワーク(SNN)は、事象駆動的でエネルギー効率のよい特徴から、広く研究の関心を集めている。 シュロゲート勾配による現在の直接訓練手法は、一般化性に乏しいSNNに結果をもたらす。 SGによる勾配降下時の運動量の減少を補うための時間的効率訓練(TET)手法を導入する。
  論文  参考訳（メタデータ） (2022-02-24T08:02:37Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。