論文の概要: Backpropagated Neighborhood Aggregation for Accurate Training of Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2107.06861v1
• Date: Tue, 22 Jun 2021 16:42:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-25 20:36:10.664012
• Title: Backpropagated Neighborhood Aggregation for Accurate Training of Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークの高精度学習のためのバックプロパゲーテッド近傍アグリゲーション
• Authors: Yukun Yang, Wenrui Zhang, Peng Li
• Abstract要約: そこで我々は,重み更新を導く誤差勾配を高精度に計算するBP型手法である,近傍集約(NA)を提案する。 NAはこの目的を達成するために、各ニューロンの現在の膜電位の近傍にある摂動膜電位波形による損失の有限差を集約する。 実験の結果,提案したNAアルゴリズムは,複数のデータセットを対象としたSNNトレーニングの最先端性能を提供することがわかった。
• 参考スコア（独自算出の注目度）: 14.630838296680025
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: While backpropagation (BP) has been applied to spiking neural networks (SNNs) achieving encouraging results, a key challenge involved is to backpropagate a continuous-valued loss over layers of spiking neurons exhibiting discontinuous all-or-none firing activities. Existing methods deal with this difficulty by introducing compromises that come with their own limitations, leading to potential performance degradation. We propose a novel BP-like method, called neighborhood aggregation (NA), which computes accurate error gradients guiding weight updates that may lead to discontinuous modifications of firing activities. NA achieves this goal by aggregating finite differences of the loss over multiple perturbed membrane potential waveforms in the neighborhood of the present membrane potential of each neuron while utilizing a new membrane potential distance function. Our experiments show that the proposed NA algorithm delivers the state-of-the-art performance for SNN training on several datasets.
• Abstract（参考訳）: バックプロパゲーション(BP)は神経ネットワーク(SNN)の促進効果に応用されているが、重要な課題は、不連続なオール・オア・ノンの発射活性を示すスパイキングニューロンの層に連続的に評価された損失をバックプロパゲーションすることである。 既存のメソッドは、独自の制限を伴う妥協を導入することで、この難しさに対処する。 本研究では,燃焼動作の不連続な修正につながる可能性のある重みの更新を導く正確な誤差勾配を計算し,近傍凝集 (na) と呼ばれる新しいbp様手法を提案する。 NAは、新しい膜電位距離関数を用いて、各ニューロンの現在の膜電位近傍における複数の膜電位波形の損失の有限差を集約することにより、この目標を達成する。 実験の結果,提案したNAアルゴリズムは,複数のデータセットを対象としたSNNトレーニングの最先端性能を実現する。

関連論文リスト

• Rethinking Spiking Neural Networks from an Ensemble Learning Perspective [4.823440259626247]
  スパイキングニューラルネットワーク(SNN)はエネルギー効率が優れているが、限られた性能に悩まされている。 本稿では,SNNをアーキテクチャと重みを共有するテンポラルワークのアンサンブルとみなす。 我々は初期膜電位分布の整合性を促進し、膜電位の平滑化と時間的に隣接するサブネットワークガイダンスを通して出力する。
  論文  参考訳（メタデータ） (2025-02-20T03:15:52Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Online Pseudo-Zeroth-Order Training of Neuromorphic Spiking Neural Networks [69.2642802272367]
  スパイクニューラルネットワーク(SNN)を用いた脳誘発ニューロモルフィックコンピューティングは、有望なエネルギー効率の計算手法である。 最近の手法では、空間的および時間的バックプロパゲーション(BP)を利用しており、ニューロモルフィックの性質に固執していない。 オンライン擬似ゼロオーダートレーニング(OPZO)を提案する。
  論文  参考訳（メタデータ） (2024-07-17T12:09:00Z)
• Scaling SNNs Trained Using Equilibrium Propagation to Convolutional Architectures [2.2146860305758485]
  平衡伝播(Equilibrium Propagation、EP)は、収束性リカレントニューラルネットワーク(RNN)のために開発された生物学的に妥当な局所学習アルゴリズムである。 EPは、BPTTによって訓練されるスパイキングニューラルネットワーク(SNN)をトレーニングする強力な候補である。 本稿では,EP を用いた畳み込みスパイク収束 RNN の訓練のための定式化を行い,スパイク収束 RNN と非スパイク収束 RNN とのギャップを埋める。
  論文  参考訳（メタデータ） (2024-05-04T03:06:14Z)
• Effective Learning with Node Perturbation in Multi-Layer Neural Networks [2.1168858935852013]
  node perturbation (NP) は、ネットワークアクティベーションにノイズを注入することで学習を提案する。 NPは、非誘導ノイズに基づく探索プロセスのため、データ非効率で不安定である。 各層での入力デコリレーションと指向性デリバティブとの密接なアライメントはNP学習の性能を強く向上させる。
  論文  参考訳（メタデータ） (2023-10-02T08:12:51Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper Directly-Trained Spiking Neural Networks [19.490903216456758]
  スパイキングニューラルネットワーク(SNN)は、非同期離散性とスパース特性を持つニューラルネットワークである。 既存のスパイキング抑制残差ネットワーク(Spiking DS-ResNet)に基づくマルチレベル焼成(MLF)手法を提案する。
  論文  参考訳（メタデータ） (2022-10-12T16:39:46Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Temporal Spike Sequence Learning via Backpropagation for Deep Spiking Neural Networks [14.992756670960008]
  スパイキングニューラルネットワーク(SNN)は、エネルギー効率の良いイベント駆動ニューロモルフィックプロセッサの計算と実装に適している。 深部SNNを訓練するためのTSSL-BP(Temporal Spike Sequence Learning Backpropagation)法を提案する。
  論文  参考訳（メタデータ） (2020-02-24T05:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。