論文の概要: Emerging NeoHebbian Dynamics in Forward-Forward Learning: Implications for Neuromorphic Computing
- arxiv url: http://arxiv.org/abs/2406.16479v1
- Date: Mon, 24 Jun 2024 09:33:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-25 15:24:04.748082
- Title: Emerging NeoHebbian Dynamics in Forward-Forward Learning: Implications for Neuromorphic Computing
- Title（参考訳）: 前向き学習におけるNeoHebbian Dynamicsの新たな展開:ニューロモルフィックコンピューティングへの応用
- Authors: Erik B. Terres-Escudero, Javier Del Ser, Pablo García-Bringas,
- Abstract要約: フォワード・フォワードアルゴリズム(FFA)は各層に局所学習規則を用いる。
局所学習を駆動する良さ関数として2乗ユークリッドノルムを用いる場合、FFAはネオ・ヘビアン学習規則と等価であることを示す。
- 参考スコア（独自算出の注目度）: 7.345136916791223
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Advances in neural computation have predominantly relied on the gradient backpropagation algorithm (BP). However, the recent shift towards non-stationary data modeling has highlighted the limitations of this heuristic, exposing that its adaptation capabilities are far from those seen in biological brains. Unlike BP, where weight updates are computed through a reverse error propagation path, Hebbian learning dynamics provide synaptic updates using only information within the layer itself. This has spurred interest in biologically plausible learning algorithms, hypothesized to overcome BP's shortcomings. In this context, Hinton recently introduced the Forward-Forward Algorithm (FFA), which employs local learning rules for each layer and has empirically proven its efficacy in multiple data modeling tasks. In this work we argue that when employing a squared Euclidean norm as a goodness function driving the local learning, the resulting FFA is equivalent to a neo-Hebbian Learning Rule. To verify this result, we compare the training behavior of FFA in analog networks with its Hebbian adaptation in spiking neural networks. Our experiments demonstrate that both versions of FFA produce similar accuracy and latent distributions. The findings herein reported provide empirical evidence linking biological learning rules with currently used training algorithms, thus paving the way towards extrapolating the positive outcomes from FFA to Hebbian learning rules. Simultaneously, our results imply that analog networks trained under FFA could be directly applied to neuromorphic computing, leading to reduced energy usage and increased computational speed.
- Abstract（参考訳）: 神経計算の進歩は、主に勾配バックプロパゲーションアルゴリズム(BP)に依存している。
しかし、最近の非定常データモデリングへのシフトは、このヒューリスティックな限界を強調し、その適応能力が生物学的脳で見られるものとは程遠いことを明らかにしている。
BPとは異なり、重み更新は逆誤差伝搬経路によって計算されるが、Hebbian Learning dynamicsは層内部の情報のみを使用してシナプス更新を提供する。
これは、BPの欠点を克服すると仮定された、生物学的に実証可能な学習アルゴリズムへの関心を喚起した。
この文脈で、Hinton氏は最近、各レイヤに局所的な学習ルールを採用し、複数のデータモデリングタスクでその有効性を実証したフォワード・フォワードアルゴリズム(FFA)を導入した。
この研究において、局所学習を駆動する良さ関数として2乗ユークリッドノルムを用いる場合、結果のFFAはネオヘビアン学習規則と同値である。
この結果を検証するために、アナログネットワークにおけるFFAのトレーニング行動と、スパイクニューラルネットワークにおけるヘビアン適応を比較した。
実験により,FFAの両バージョンが類似の精度と潜伏分布を生成することが示された。
今回報告した知見は,生物学習規則と現在使用されている学習アルゴリズムを結びつけた実証的な証拠であり,FFAからヘビアン学習規則への肯定的な結果の補間への道を開くものである。
同時に、FFAの下で訓練されたアナログネットワークがニューロモルフィックコンピューティングに直接適用され、エネルギー使用量が減少し、計算速度が向上する可能性が示唆された。
関連論文リスト
- SGD method for entropy error function with smoothing l0 regularization for neural networks [3.108634881604788]
エントロピー誤差関数はニューラルネットワークで広く使われている。
本稿では,フィードフォワードニューラルネットワークの規則化を円滑に行うエントロピー関数を提案する。
ニューラルネットワークを効果的に学習し、より正確な予測を可能にするため、私たちの仕事は新しくなっています。
論文 参考訳（メタデータ） (2024-05-28T19:54:26Z) - Gradient-Free Training of Recurrent Neural Networks using Random Perturbations [1.1742364055094265]
リカレントニューラルネットワーク(RNN)は、チューリング完全性とシーケンシャルな処理能力のために、計算の潜在能力を秘めている。
時間によるバックプロパゲーション(BPTT)は、時間とともにRNNをアンロールすることでバックプロパゲーションアルゴリズムを拡張する。
BPTTは、前方と後方のフェーズをインターリーブし、正確な勾配情報を格納する必要があるなど、大きな欠点に悩まされている。
BPTTと競合するRNNにおける摂動学習に対する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-05-14T21:15:29Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳（メタデータ） (2023-03-17T02:01:11Z) - An STDP-Based Supervised Learning Algorithm for Spiking Neural Networks [20.309112286222238]
Spiking Neural Networks (SNN)は、より生物学的に可能な脳モデルを提供する。
本稿では,Leaky Integrate-and-fire ニューロンからなる階層型 SNN に対して,Spike-Timing Dependent Plasticity (STDP) に基づく教師付き学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-03-07T13:40:09Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Convolutional generative adversarial imputation networks for
spatio-temporal missing data in storm surge simulations [86.5302150777089]
GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。
提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
論文 参考訳（メタデータ） (2021-11-03T03:50:48Z) - FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。
FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
論文 参考訳（メタデータ） (2021-06-24T15:38:34Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Predictive Coding Can Do Exact Backpropagation on Any Neural Network [40.51949948934705]
計算グラフ上で直接定義することで(ILと)Z-ILを一般化する。
これは、任意のニューラルネットワーク上のパラメータを更新する方法でBPと同等であることが示されている最初の生物学的に実行可能なアルゴリズムです。
論文 参考訳（メタデータ） (2021-03-08T11:52:51Z) - MAP Propagation Algorithm: Faster Learning with a Team of Reinforcement
Learning Agents [0.0]
ニューラルネットワークをトレーニングする別の方法は、ネットワークの各ユニットを強化学習エージェントとして扱うことである。
本稿では,この分散を著しく低減するMAP伝搬という新しいアルゴリズムを提案する。
当社の作業は、深層強化学習におけるエージェントチームの広範な適用を可能にします。
論文 参考訳（メタデータ） (2020-10-15T17:17:39Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。