論文の概要: Learning in Deep Neural Networks Using a Biologically Inspired Optimizer
- arxiv url: http://arxiv.org/abs/2104.11604v1
- Date: Fri, 23 Apr 2021 13:50:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-26 13:01:27.692683
- Title: Learning in Deep Neural Networks Using a Biologically Inspired Optimizer
- Title(参考訳): バイオインスパイアされた最適化を用いたディープニューラルネットワークの学習
- Authors: Giorgia Dellaferrera, Stanislaw Wozniak, Giacomo Indiveri, Angeliki
Pantazi, Evangelos Eleftheriou
- Abstract要約: 人工神経(ANN)とスパイクニューラルネット(SNN)にインスパイアされた新しい生物モデルを提案する。
GRAPESは、ニューラルネットワークの各ノードにおけるエラー信号の重量分布依存変調を実装している。
生物学的にインスパイアされたこのメカニズムは,ネットワークの収束率を体系的に改善し,ANNやSNNの分類精度を大幅に向上させることを示す。
- 参考スコア(独自算出の注目度): 5.144809478361604
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Plasticity circuits in the brain are known to be influenced by the
distribution of the synaptic weights through the mechanisms of synaptic
integration and local regulation of synaptic strength. However, the complex
interplay of stimulation-dependent plasticity with local learning signals is
disregarded by most of the artificial neural network training algorithms
devised so far. Here, we propose a novel biologically inspired optimizer for
artificial (ANNs) and spiking neural networks (SNNs) that incorporates key
principles of synaptic integration observed in dendrites of cortical neurons:
GRAPES (Group Responsibility for Adjusting the Propagation of Error Signals).
GRAPES implements a weight-distribution dependent modulation of the error
signal at each node of the neural network. We show that this biologically
inspired mechanism leads to a systematic improvement of the convergence rate of
the network, and substantially improves classification accuracy of ANNs and
SNNs with both feedforward and recurrent architectures. Furthermore, we
demonstrate that GRAPES supports performance scalability for models of
increasing complexity and mitigates catastrophic forgetting by enabling
networks to generalize to unseen tasks based on previously acquired knowledge.
The local characteristics of GRAPES minimize the required memory resources,
making it optimally suited for dedicated hardware implementations. Overall, our
work indicates that reconciling neurophysiology insights with machine
intelligence is key to boosting the performance of neural networks.
- Abstract(参考訳): 脳の塑性回路はシナプス結合の機構とシナプス強度の局所的な調節を通じてシナプス重みの分布に影響されることが知られている。
しかし、刺激依存可塑性と局所学習信号との複雑な相互作用は、これまでの人工ニューラルネットワーク訓練アルゴリズムの多くでは無視されている。
本稿では,大脳皮質ニューロンの樹状突起で観測されるシナプス積分の鍵となる原理を取り入れた,人工神経(ANN)とスパイクニューラルネットワーク(SNN)のための生物学的にインスパイアされた新しいオプティマイザを提案する。
GRAPESは、ニューラルネットワークの各ノードにおけるエラー信号の重量分布依存変調を実装している。
この生物学的にインスパイアされたメカニズムは,ネットワークの収束率を体系的に向上させ,フィードフォワードおよびリカレントアーキテクチャによるANNとSNNの分類精度を大幅に向上させることを示す。
さらに,GRAPESは複雑性の増大するモデルに対する性能スケーラビリティをサポートし,ネットワークが以前取得した知識に基づいて未確認タスクを一般化できるようにすることにより,破滅的な忘れを緩和することを示した。
GRAPESのローカル特性は必要なメモリ資源を最小限に抑え、専用のハードウェア実装に最適である。
全体として、我々の研究は、神経生理学の洞察をマシンインテリジェンスと調和させることが、ニューラルネットワークの性能を高める鍵であることを示唆している。
関連論文リスト
- SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳(メタデータ) (2023-10-25T13:15:17Z) - A Spiking Binary Neuron -- Detector of Causal Links [0.0]
因果関係認識は、学習行動、行動計画、外界ダイナミクスの推論を目的としたニューラルネットワークの基本的な操作である。
本研究は、単純なスパイク二元性ニューロンを用いた因果関係認識を実現するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-15T15:34:17Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - Functional Connectome: Approximating Brain Networks with Artificial
Neural Networks [1.952097552284465]
訓練されたディープニューラルネットワークは、合成生物学的ネットワークによって実行される計算を高精度に捉えることができることを示す。
訓練されたディープニューラルネットワークは、新しい環境でゼロショットの一般化を実行可能であることを示す。
本研究は, システム神経科学における新規かつ有望な方向性を明らかにする。
論文 参考訳(メタデータ) (2022-11-23T13:12:13Z) - A Synapse-Threshold Synergistic Learning Approach for Spiking Neural
Networks [1.8556712517882232]
スパイキングニューラルネットワーク(SNN)は、さまざまなインテリジェントなシナリオにおいて優れた機能を示している。
本研究では,SNNにおけるシナプス重みとスパイク閾値を同時に学習する新しいシナジー学習手法を開発する。
論文 参考訳(メタデータ) (2022-06-10T06:41:36Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Towards efficient end-to-end speech recognition with
biologically-inspired neural networks [10.457580011403289]
軸-体性および軸-体性シナプスを模擬した神経接続概念を導入する。
我々は,大規模ASRモデルの生物学的に現実的な実装によって,競争性能が向上できることを初めて実証した。
論文 参考訳(メタデータ) (2021-10-04T21:24:10Z) - Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。
学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。
さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
論文 参考訳(メタデータ) (2021-06-15T05:30:17Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳(メタデータ) (2020-12-31T18:53:25Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Structural plasticity on an accelerated analog neuromorphic hardware
system [0.46180371154032884]
我々は, プレ・グポストシナプスのパートナーを常に切り替えることにより, 構造的可塑性を達成するための戦略を提案する。
我々はこのアルゴリズムをアナログニューロモルフィックシステムBrainScaleS-2に実装した。
ネットワークトポロジを最適化する能力を示し、簡単な教師付き学習シナリオで実装を評価した。
論文 参考訳(メタデータ) (2019-12-27T10:15:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。