論文の概要: Backpropagation-free Spiking Neural Networks with the Forward-Forward Algorithm

• arxiv url: http://arxiv.org/abs/2502.20411v1
• Date: Wed, 19 Feb 2025 12:44:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-09 03:50:42.524413
• Title: Backpropagation-free Spiking Neural Networks with the Forward-Forward Algorithm
• Title（参考訳）: フォワードフォワードアルゴリズムを用いたバックプロパゲーションフリースパイクニューラルネットワーク
• Authors: Mohammadnavid Ghader, Saeed Reza Kheradpisheh, Bahar Farahani, Mahmood Fazlali,
• Abstract要約: Spiking Neural Networks (SNN)は、離散スパイクベースの処理を通じて神経活動をエミュレートする生物学的にインスパイアされた計算パラダイムを提供する。 これらの利点にもかかわらず、従来のバックプロパゲーション(BP)を用いたSNNのトレーニングは、計算の非効率性と生物学的妥当性の欠如により、依然として困難である。 本研究では,SNNの代替学習フレームワークとして,フォワードフォワード(FF)アルゴリズムについて検討する。
• 参考スコア（独自算出の注目度）: 0.13499500088995461
• License:
• Abstract: Spiking Neural Networks (SNNs) offer a biologically inspired computational paradigm that emulates neuronal activity through discrete spike-based processing. Despite their advantages, training SNNs with traditional backpropagation (BP) remains challenging due to computational inefficiencies and a lack of biological plausibility. This study explores the Forward-Forward (FF) algorithm as an alternative learning framework for SNNs. Unlike backpropagation, which relies on forward and backward passes, the FF algorithm employs two forward passes, enabling localized learning, enhanced computational efficiency, and improved compatibility with neuromorphic hardware. We introduce an FF-based SNN training framework and evaluate its performance across both non-spiking (MNIST, Fashion-MNIST, CIFAR-10) and spiking (Neuro-MNIST, SHD) datasets. Experimental results demonstrate that our model surpasses existing FF-based SNNs by over 5% on MNIST and Fashion-MNIST while achieving accuracy comparable to state-of-the-art backpropagation-trained SNNs. On more complex tasks such as CIFAR-10 and SHD, our approach outperforms other SNN models by up to 6% and remains competitive with leading backpropagation-trained SNNs. These findings highlight the FF algorithm's potential to advance SNN training methodologies and neuromorphic computing by addressing key limitations of backpropagation.
• Abstract（参考訳）: Spiking Neural Networks (SNN)は、離散スパイクベースの処理を通じて神経活動をエミュレートする生物学的にインスパイアされた計算パラダイムを提供する。 これらの利点にもかかわらず、従来のバックプロパゲーション(BP)を用いたSNNのトレーニングは、計算の非効率性と生物学的妥当性の欠如により、依然として困難である。 本研究では,SNNの代替学習フレームワークとして,フォワードフォワード(FF)アルゴリズムについて検討する。 フォワードパスとバックパスに依存するバックプロパゲーションとは異なり、FFアルゴリズムは2つのフォワードパスを採用し、ローカライズドラーニング、計算効率の向上、ニューロモルフィックハードウェアとの互換性の向上を実現している。 FFベースのSNNトレーニングフレームワークを導入し、非スパイキング(MNIST, Fashion-MNIST, CIFAR-10)とスパイキング(Neuro-MNIST, SHD)の両方のデータセットのパフォーマンスを評価する。 MNIST と Fashion-MNIST では既存の FF ベース SNN を5% 以上上回り,最先端のバックプロパゲーション学習 SNN に匹敵する精度が得られた。 CIFAR-10やSHDのようなより複雑なタスクでは、我々のアプローチは他のSNNモデルよりも最大6%優れ、バックプロパゲーション訓練されたSNNと競合し続けている。 これらの知見は、バックプロパゲーションの重要な限界に対処することにより、FFアルゴリズムがSNNトレーニング手法とニューロモルフィックコンピューティングを前進させる可能性を強調している。

関連論文リスト

• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• BKDSNN: Enhancing the Performance of Learning-based Spiking Neural Networks Training with Blurred Knowledge Distillation [20.34272550256856]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークを模倣し、離散スパイクを介して情報を伝達する。 本研究は,静的およびニューロモルフィックなデータセット上でSNNをトレーニングするための最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-07-12T08:17:24Z)
• Direct Training High-Performance Deep Spiking Neural Networks: A Review of Theories and Methods [33.377770671553336]
  スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワーク(ANN)の代替として有望なエネルギー効率を提供する 本稿では,より深いSNNを高い性能で訓練するための理論と手法を要約する新しい視点を提供する。
  論文  参考訳（メタデータ） (2024-05-06T09:58:54Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Skip Connections in Spiking Neural Networks: An Analysis of Their Effect on Network Training [0.8602553195689513]
  従来の人工ニューラルネットワーク(ANN)の代替として、スパイキングニューラルネットワーク(SNN)が注目を集めている。 本稿では,SNNにおけるスキップ接続の影響について検討し,ANNからSNNへのモデル適応を行うハイパーパラメータ最適化手法を提案する。 本研究では,SNNの位置,タイプ,回数を最適化することで,SNNの精度と効率を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-03-23T07:57:32Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• PC-SNN: Supervised Learning with Local Hebbian Synaptic Plasticity based on Predictive Coding in Spiking Neural Networks [1.6172800007896282]
  本稿では,予測符号化理論に触発された新しい学習アルゴリズムを提案する。 教師あり学習を完全自律的に行うことができ、バックプロップとして成功することを示す。 この手法は,最先端の多層SNNと比較して,良好な性能を実現する。
  論文  参考訳（メタデータ） (2022-11-24T09:56:02Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Pruning of Deep Spiking Neural Networks through Gradient Rewiring [41.64961999525415]
  スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップの高エネルギー効率により、非常に重要視されている。 ほとんどの既存の方法は、ANNsとSNNsの違いを無視するSNNsに人工ニューラルネットワーク(ANNs)のプルーニングアプローチを直接適用する。 本稿では,ネットワーク構造を無訓練でシームレスに最適化可能な,snsの接続性と重み付けの合同学習アルゴリズムgradle rewiring (gradr)を提案する。
  論文  参考訳（メタデータ） (2021-05-11T10:05:53Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。