論文の概要: Training spiking neural networks using reinforcement learning
- arxiv url: http://arxiv.org/abs/2005.05941v1
- Date: Tue, 12 May 2020 17:40:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-03 18:07:16.753633
- Title: Training spiking neural networks using reinforcement learning
- Title(参考訳): 強化学習を用いたスパイクニューラルネットワークの訓練
- Authors: Sneha Aenugu
- Abstract要約: 本稿では,スパイクニューラルネットワークのトレーニングを容易にするために,生物学的に有望なバックプロパゲーション代替法を提案する。
本研究では,空間的・時間的信用割当問題の解決における強化学習規則の適用可能性を検討することに注力する。
我々は、グリッドワールド、カートポール、マウンテンカーといった従来のRLドメインに適用することで、2つのアプローチを比較し、対比する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neurons in the brain communicate with each other through discrete action
spikes as opposed to continuous signal transmission in artificial neural
networks. Therefore, the traditional techniques for optimization of parameters
in neural networks which rely on the assumption of differentiability of
activation functions are no longer applicable to modeling the learning
processes in the brain. In this project, we propose biologically-plausible
alternatives to backpropagation to facilitate the training of spiking neural
networks. We primarily focus on investigating the candidacy of reinforcement
learning (RL) rules in solving the spatial and temporal credit assignment
problems to enable decision-making in complex tasks. In one approach, we
consider each neuron in a multi-layer neural network as an independent RL agent
forming a different representation of the feature space while the network as a
whole forms the representation of the complex policy to solve the task at hand.
In other approach, we apply the reparameterization trick to enable
differentiation through stochastic transformations in spiking neural networks.
We compare and contrast the two approaches by applying them to traditional RL
domains such as gridworld, cartpole and mountain car. Further we also suggest
variations and enhancements to enable future research in this area.
- Abstract(参考訳): 脳内のニューロンは、ニューラルネットワークの連続的なシグナル伝達とは対照的に、個別のアクションスパイクを介して相互に通信する。
したがって、活性化関数の微分可能性の仮定に依存するニューラルネットワークにおけるパラメータの最適化手法は、もはや脳内の学習プロセスのモデル化には適用されない。
本稿では,スパイクニューラルネットワークのトレーニングを容易にするために,生物学的に証明可能なバックプロパゲーション代替法を提案する。
我々は,複雑なタスクにおける意思決定を可能にするために,空間的および時間的クレジット割り当て問題を解決するための強化学習規則(rl)の候補性を検討することに集中する。
あるアプローチでは、ニューラルネットワーク内の各ニューロンを、特徴空間の異なる表現を形成する独立したRLエージェントとみなす一方で、ネットワーク全体が、その課題を解決するための複雑なポリシーの表現を形成する。
言い換えれば、スパイクニューラルネットワークにおける確率変換による微分を可能にするために、再パラメータ化手法を適用する。
gridworld、cartpole、マウンテンカーといった従来のrlドメインに適用することで、これら2つのアプローチを比較して比較する。
また、この領域における今後の研究を可能にするためのバリエーションや拡張についても提案する。
関連論文リスト
- Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳(メタデータ) (2024-02-19T09:29:37Z) - Seeking Next Layer Neurons' Attention for Error-Backpropagation-Like
Training in a Multi-Agent Network Framework [6.446189857311325]
本研究は, ニューロンの局所的な目的として, エラーのバックプロパゲーションと類似性を示すことを提案する。
本研究では,局所的な目的を最大化するために,自律神経系と自律神経系を組み合わせたニューラルネットワークについて検討する。
3つのデータセットの実験を通して、これらのマルチエージェントニューラルネットワークの学習能力を実証する。
論文 参考訳(メタデータ) (2023-10-15T21:07:09Z) - Learning to Act through Evolution of Neural Diversity in Random Neural
Networks [9.387749254963595]
ほとんどの人工ニューラルネットワーク(ANN)では、神経計算は通常すべてのニューロン間で共有される活性化関数に抽象化される。
本稿では,複雑な計算を行うことができる多様なニューロンの集合を実現するために,神経中心パラメータの最適化を提案する。
論文 参考訳(メタデータ) (2023-05-25T11:33:04Z) - Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of
Spiking Neural Systems [73.18020682258606]
我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。
コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。
いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-02-27T18:52:38Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳(メタデータ) (2021-09-20T15:12:16Z) - Functional neural network for decision processing, a racing network of
programmable neurons with fuzzy logic where the target operating model relies
on the network itself [1.1602089225841632]
本稿では,人間の意思決定過程をモデル化する関数型ニューラルネットワークである,人工知能の新しいモデルを提案する。
この機能的ニューラルネットワークは、意思決定の計算方法を変革する有望な可能性を秘めている、と私たちは信じています。
論文 参考訳(メタデータ) (2021-02-24T15:19:35Z) - A biologically plausible neural network for multi-channel Canonical
Correlation Analysis [12.940770779756482]
皮質錐体ニューロンは、複数の神経集団から入力を受け取り、これらの入力を別々の樹状体区画に統合する。
我々は,生物学的に妥当なニューラルネットワークで実装可能なマルチチャネルCAAアルゴリズムを提案する。
生物学的信頼性のためには、ネットワークはオンライン環境で動作し、シナプス更新ルールはローカルである必要がある。
論文 参考訳(メタデータ) (2020-10-01T16:17:53Z) - Exploring weight initialization, diversity of solutions, and degradation
in recurrent neural networks trained for temporal and decision-making tasks [0.0]
リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は、脳機能と構造をモデル化するために頻繁に使用される。
本研究では,時間変化刺激による時間・流れ制御タスクを行うために,小型完全接続型RNNを訓練した。
論文 参考訳(メタデータ) (2019-06-03T21:56:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。