論文の概要: Loss shaping enhances exact gradient learning with EventProp in Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2212.01232v2
• Date: Sun, 2 Jun 2024 16:10:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 23:45:37.329712
• Title: Loss shaping enhances exact gradient learning with EventProp in Spiking Neural Networks
• Title（参考訳）: ロスシェーピングは、スパイキングニューラルネットワークにおけるEventPropによる正確な勾配学習を強化する
• Authors: Thomas Nowotny, James P. Turner, James C. Knight,
• Abstract要約: Eventpropは、スパイキングニューラルネットワークの正確な勾配の勾配勾配のアルゴリズムである。 我々は、GPU強化ニューラルネットワークフレームワークにEventpropを実装した。 ネットワークはスパイキングハイデルベルク・ディジットの最先端性能とスパイキング音声コマンドの精度を達成する。
• 参考スコア（独自算出の注目度）: 0.1350479308585481
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Event-based machine learning promises more energy-efficient AI on future neuromorphic hardware. Here, we investigate how the recently discovered Eventprop algorithm for gradient descent on exact gradients in spiking neural networks can be scaled up to challenging keyword recognition benchmarks. We implemented Eventprop in the GPU-enhanced Neural Networks framework and used it for training recurrent spiking neural networks on the Spiking Heidelberg Digits and Spiking Speech Commands datasets. We found that learning depended strongly on the loss function and extended Eventprop to a wider class of loss functions to enable effective training. When combined with the right additional mechanisms from the machine learning toolbox, Eventprop networks achieved state-of-the-art performance on Spiking Heidelberg Digits and good accuracy on Spiking Speech Commands. This work is a significant step towards a low-power neuromorphic alternative to current machine learning paradigms.
• Abstract（参考訳）: イベントベースの機械学習は、将来のニューロモルフィックハードウェア上でよりエネルギー効率の高いAIを約束する。 本稿では、最近発見されたEventpropアルゴリズムを用いて、スパイクニューラルネットワークの正確な勾配勾配の勾配勾配を求める手法を、挑戦的なキーワード認識ベンチマークに拡張する方法について検討する。 我々は、GPU強化ニューラルネットワークフレームワークにEventpropを実装し、Spike Heidelberg DigitsとSpking Speech Commandsデータセット上で、繰り返しスパイクニューラルネットワークのトレーニングに使用した。 その結果、学習は損失関数に強く依存し、Eventpropをより広範な損失関数に拡張し、効果的なトレーニングを可能にした。 機械学習ツールボックスの適切な追加メカニズムと組み合わせることで、Eventpropネットワークはスパイキングハイデルバーグディジットの最先端のパフォーマンスとスパイキング音声コマンドの精度を達成した。 この研究は、現在の機械学習パラダイムに代わる低消費電力のニューロモルフィックへの重要なステップである。

関連論文リスト

• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• An error-propagation spiking neural network compatible with neuromorphic processors [2.432141667343098]
  本稿では,局所的な重み更新機構を用いたバックプロパゲーションを近似したスパイクに基づく学習手法を提案する。 本稿では,重み更新機構による誤り信号のバックプロパゲートを可能にするネットワークアーキテクチャを提案する。 この研究は、超低消費電力混合信号ニューロモルフィック処理系の設計に向けた第一歩である。
  論文  参考訳（メタデータ） (2021-04-12T07:21:08Z)
• Analytically Tractable Inference in Deep Neural Networks [0.0]
  Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。 従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
  論文  参考訳（メタデータ） (2021-03-09T14:51:34Z)
• Training Convolutional Neural Networks With Hebbian Principal Component Analysis [10.026753669198108]
  ヘブリアン学習は、ニューラルネットワークの下層または高層を訓練するために使用することができる。 私たちは、HWTA(Hebbian Winner Takes All)戦略の代わりに、非線形のHebbianプリンシパルコンポーネント分析(HPCA)学習ルールを使用します。 特にHPCAルールは、CIFAR-10イメージデータセットから関連する特徴を抽出するために、畳み込みニューラルネットワークのトレーニングに使用される。
  論文  参考訳（メタデータ） (2020-12-22T18:17:46Z)
• Event-Based Backpropagation can compute Exact Gradients for Spiking Neural Networks [0.0]
  スパイクニューラルネットワークは、離散スパイクを用いたアナログ計算とイベントベースの通信を組み合わせる。 この研究は、連続時間スパイクニューラルネットワークと一般損失関数のバックプロパゲーションアルゴリズムを初めて導いた。 EventProp経由で計算した勾配を用いて,スパイク時間あるいは電圧に基づく損失関数を用いて,Yin-YangおよびMNISTデータセット上のネットワークをトレーニングし,競合性能を報告する。
  論文  参考訳（メタデータ） (2020-09-17T15:45:00Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)
• A Deep Unsupervised Feature Learning Spiking Neural Network with Binarized Classification Layers for EMNIST Classification using SpykeFlow [0.0]
  二成分アクティベーションを用いたスパイクタイミング依存塑性(STDP)の教師なし学習技術は、スパイク入力データから特徴を抽出するために用いられる。 バランスの取れたEMNISTデータセットに対するアキュラシーは、他のアプローチと好意的に比較した。
  論文  参考訳（メタデータ） (2020-02-26T23:47:35Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。