論文の概要: Gradient-Free Neural Network Training via Synaptic-Level Reinforcement
Learning
- arxiv url: http://arxiv.org/abs/2105.14383v1
- Date: Sat, 29 May 2021 22:26:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 12:06:48.415413
- Title: Gradient-Free Neural Network Training via Synaptic-Level Reinforcement
Learning
- Title（参考訳）: シナプスレベル強化学習による勾配フリーニューラルネットワークトレーニング
- Authors: Aman Bhargava, Mohammad R. Rezaei, Milad Lankarany
- Abstract要約: 学習を実現する特定の脳領域に、一貫性のあるシナプスレベルの学習メカニズムが存在すると広く信じられている。
本稿では,単純なシナプスレベルの学習ポリシーを生成し,適用するための強化学習に基づくアルゴリズムを提案する。
勾配への頑丈さと依存の欠如は、困難で微分の難しいニューラルネットワークを訓練するための新しいテクニックの扉を開く。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An ongoing challenge in neural information processing is: how do neurons
adjust their connectivity to improve task performance over time (i.e.,
actualize learning)? It is widely believed that there is a consistent,
synaptic-level learning mechanism in specific brain regions that actualizes
learning. However, the exact nature of this mechanism remains unclear. Here we
propose an algorithm based on reinforcement learning (RL) to generate and apply
a simple synaptic-level learning policy for multi-layer perceptron (MLP)
models. In this algorithm, the action space for each MLP synapse consists of a
small increase, decrease, or null action on the synapse weight, and the state
for each synapse consists of the last two actions and reward signals. A binary
reward signal indicates improvement or deterioration in task performance. The
static policy produces superior training relative to the adaptive policy and is
agnostic to activation function, network shape, and task. Trained MLPs yield
character recognition performance comparable to identically shaped networks
trained with gradient descent. 0 hidden unit character recognition tests
yielded an average validation accuracy of 88.28%, 1.86$\pm$0.47% higher than
the same MLP trained with gradient descent. 32 hidden unit character
recognition tests yielded an average validation accuracy of 88.45%,
1.11$\pm$0.79% lower than the same MLP trained with gradient descent. The
robustness and lack of reliance on gradient computations opens the door for new
techniques for training difficult-to-differentiate artificial neural networks
such as spiking neural networks (SNNs) and recurrent neural networks (RNNs).
Further, the method's simplicity provides a unique opportunity for further
development of local rule-driven multi-agent connectionist models for machine
intelligence analogous to cellular automata.
- Abstract（参考訳）: 神経情報処理における現在進行中の課題は、ニューロンは、時間とともにタスクパフォーマンスを改善するために、どのように接続を調整するのか(すなわち、学習の実現)?
学習を実現する特定の脳領域に、一貫性のあるシナプスレベルの学習メカニズムが存在すると広く信じられている。
しかし、この機構の正確な性質は不明である。
本稿では、多層パーセプトロン(MLP)モデルに対して単純なシナプスレベルの学習ポリシーを生成し、適用するための強化学習(RL)に基づくアルゴリズムを提案する。
このアルゴリズムでは、各MLPシナプスに対する作用空間は、シナプス重みに対する小さな増加、減少、または無効な作用で構成され、各シナプスに対する状態は、最後の2つの作用と報酬信号からなる。
二進報酬信号は、タスク性能の改善または劣化を示す。
静的ポリシは適応ポリシに対して優れたトレーニングを生成し,アクティベーション関数,ネットワーク形状,タスクに依存しない。
訓練されたMLPは、勾配降下で訓練された同一形状のネットワークに匹敵する文字認識性能を得る。
隠れた単位文字認識テストは88.28%、1.86$\pm$0.47%で、勾配勾配で訓練されたMLPよりも高い精度を示した。
32個の隠れた単位文字認識テストは、勾配勾配で訓練されたMLPよりも88.45%、1.11$\pm$0.79%低い検証精度を得た。
勾配計算への頑健さと依存の欠如は、スパイキングニューラルネットワーク(SNN)やリカレントニューラルネットワーク(RNN)といった、難しい人工知能ニューラルネットワークを訓練するための新たなテクニックの扉を開く。
さらに、この手法の単純さは、セルオートマトンに類似したマシンインテリジェンスのための局所ルール駆動型マルチエージェント接続モデルをさらに発展させるユニークな機会を提供する。
関連論文リスト
- A Contrastive Symmetric Forward-Forward Algorithm (SFFA) for Continual Learning Tasks [7.345136916791223]
フォワードフォワードアルゴリズム(FFA)は、ニューラルネットワーク学習における従来のバックプロパゲーションアルゴリズムの代替として、最近勢いを増している。
この研究は、各層を正および負のニューロンに分割するオリジナルのFFAの新たな修正であるSymmetric Forward-Forward Algorithm (SFFA)を提案する。
論文 参考訳（メタデータ） (2024-09-11T16:21:44Z) - Grad-Instructor: Universal Backpropagation with Explainable Evaluation Neural Networks for Meta-learning and AutoML [0.0]
評価ニューラルネットワーク(ENN)は、ターゲットネットワークの性能を予測するために、深層強化学習を通じて訓練される。
ENNは、バックプロパゲーション中に追加評価機能として機能する。
論文 参考訳（メタデータ） (2024-06-15T08:37:51Z) - Graph Neural Networks Provably Benefit from Structural Information: A
Feature Learning Perspective [53.999128831324576]
グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。
本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
論文 参考訳（メタデータ） (2023-06-24T10:21:11Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳（メタデータ） (2023-02-01T04:22:59Z) - Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer
Spiking Neural Networks based on Spike-Timing-Dependent Plasticity [13.384228628766236]
スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークの代替となる。
本研究は,隠されたニューロンを含むすべてのニューロンの所望のスパイク活性を導出する方法である欲求バックプロパゲーションを提示する。
我々はMNISTとFashion-MNISTを分類するために3層ネットワークを訓練し、それぞれ98.41%と87.56%の精度に達した。
論文 参考訳（メタデータ） (2022-11-10T08:32:13Z) - An STDP-Based Supervised Learning Algorithm for Spiking Neural Networks [20.309112286222238]
Spiking Neural Networks (SNN)は、より生物学的に可能な脳モデルを提供する。
本稿では,Leaky Integrate-and-fire ニューロンからなる階層型 SNN に対して,Spike-Timing Dependent Plasticity (STDP) に基づく教師付き学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-03-07T13:40:09Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - A proof of convergence for stochastic gradient descent in the training
of artificial neural networks with ReLU activation for constant target
functions [3.198144010381572]
ReLUアクティベーションを用いた完全接続フィードフォワード人工ニューラルネットワークのトレーニングにおける勾配降下(SGD)最適化法について検討する。
この研究の主な結果は、対象関数が定数であれば、SGD過程のリスクはゼロに収束することを証明している。
論文 参考訳（メタデータ） (2021-04-01T06:28:30Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳（メタデータ） (2020-09-24T17:48:59Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。