論文の概要: Benchmarking Spiking Neural Network Learning Methods with Varying Locality

• arxiv url: http://arxiv.org/abs/2402.01782v1
• Date: Thu, 1 Feb 2024 19:57:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 02:05:03.463042
• Title: Benchmarking Spiking Neural Network Learning Methods with Varying Locality
• Title（参考訳）: 局所性の異なるニューラルネットワーク学習手法のベンチマーク
• Authors: Jiaqi Lin, Sen Lu, Malyaban Bal, Abhronil Sengupta
• Abstract要約: スパイキングニューラルネットワーク(SNN)はより現実的な神経力学を提供する。 情報はイベントベースのメカニズムでSNN内のスパイクとして処理される。 スパイキング機構の非分化性のため,SNNのトレーニングは困難であることを示す。
• 参考スコア（独自算出の注目度）: 2.323924801314763
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking Neural Networks (SNNs), providing more realistic neuronal dynamics, have shown to achieve performance comparable to Artificial Neural Networks (ANNs) in several machine learning tasks. Information is processed as spikes within SNNs in an event-based mechanism that significantly reduces energy consumption. However, training SNNs is challenging due to the non-differentiable nature of the spiking mechanism. Traditional approaches, such as Backpropagation Through Time (BPTT), have shown effectiveness but comes with additional computational and memory costs and are biologically implausible. In contrast, recent works propose alternative learning methods with varying degrees of locality, demonstrating success in classification tasks. In this work, we show that these methods share similarities during the training process, while they present a trade-off between biological plausibility and performance. Further, this research examines the implicitly recurrent nature of SNNs and investigates the influence of addition of explicit recurrence to SNNs. We experimentally prove that the addition of explicit recurrent weights enhances the robustness of SNNs. We also investigate the performance of local learning methods under gradient and non-gradient based adversarial attacks.
• Abstract（参考訳）: より現実的な神経力学を提供するスパイキングニューラルネットワーク(SNN)は、いくつかの機械学習タスクにおいて、ニューラルネットワーク(ANN)に匹敵するパフォーマンスを達成することを示した。 情報は、エネルギー消費を大幅に削減するイベントベースのメカニズムで、SNN内のスパイクとして処理される。 しかし,スパイキング機構の非分化性のため,snsの訓練は困難である。 BPTT(Backproagation Through Time)のような従来の手法は、有効性を示しているが、計算とメモリのコストが増大し、生物学的には不可能である。 対照的に,近年の研究では,局所性の程度が異なる代替学習手法を提案し,分類タスクの成功を実証している。 本研究では,これらの手法が学習過程において類似点を共有し,生物学的妥当性と性能のトレードオフを示す。 さらに,SNNの暗黙的反復性について検討し,SNNに対する明示的再発の影響について検討した。 明示的な再帰重み付けがSNNの堅牢性を高めることを実験的に証明した。 また,勾配および非勾配に基づく逆攻撃における局所学習手法の性能について検討した。

関連論文リスト

• Temporal Misalignment and Probabilistic Neurons [17.73940693302129]
  スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)よりもエネルギー効率の良い代替手段を提供する 本研究では,ANN-SNN変換フレームワークにおいて,時間的ミスアライメント(temporal misalignment)と呼ばれる現象を同定する。 生物学的に可塑性二相確率性(TPP)刺激ニューロンを導入し,変換過程をさらに強化した。
  論文  参考訳（メタデータ） (2025-02-20T12:09:30Z)
• Training Spiking Neural Networks via Augmented Direct Feedback Alignment [3.798885293742468]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックデバイスにニューラルネットワークを実装するための有望なソリューションである。 しかし、SNNニューロンの非分化性は、それらを訓練することを困難にしている。 本稿では、ランダムなプロジェクションに基づく勾配のないアプローチである拡張直接フィードバックアライメント(aDFA)を用いてSNNの訓練を行う。
  論文  参考訳（メタデータ） (2024-09-12T06:22:44Z)
• Exploiting Heterogeneity in Timescales for Sparse Recurrent Spiking Neural Networks for Energy-Efficient Edge Computing [16.60622265961373]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングの最前線である。 本稿では,SNNのパフォーマンスに革命をもたらす3つの画期的な研究をまとめる。
  論文  参考訳（メタデータ） (2024-07-08T23:33:12Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• Ensemble plasticity and network adaptability in SNNs [0.726437825413781]
  人工スパイキングニューラルネットワーク(ASNN)は、離散的なイベントベース(スパイク)計算のため、より優れた情報処理効率を約束する。 本研究では,スパイク活動のみを用いたエントロピーとネットワークアクティベーションに基づく新しいアンサンブル学習手法を提案する。 その結果, スパイクレートの低いニューロンクラスターを刈り取ると, 一般化や性能の低下が予想されることがわかった。
  論文  参考訳（メタデータ） (2022-03-11T01:14:51Z)
• Accurate and efficient time-domain classification with adaptive spiking recurrent neural networks [1.8515971640245998]
  スパイクニューラルネットワーク(SNN)は、より生物学的に実行可能で、より強力なニューラルネットワークモデルとして研究されている。 本稿では、新規なサロゲート勾配と、チューナブルおよび適応性スピッキングニューロンの繰り返しネットワークがSNNの最先端を生み出す様子を示す。
  論文  参考訳（メタデータ） (2021-03-12T10:27:29Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。