Fugu-MT 論文翻訳(概要): Learning in Deep Neural Networks Using a Biologically Inspired Optimizer

論文の概要: Learning in Deep Neural Networks Using a Biologically Inspired Optimizer

arxiv url: http://arxiv.org/abs/2104.11604v1
Date: Fri, 23 Apr 2021 13:50:30 GMT
ステータス: 処理完了
システム内更新日: 2021-04-26 13:01:27.692683
Title: Learning in Deep Neural Networks Using a Biologically Inspired Optimizer
Title（参考訳）: バイオインスパイアされた最適化を用いたディープニューラルネットワークの学習
Authors: Giorgia Dellaferrera, Stanislaw Wozniak, Giacomo Indiveri, Angeliki Pantazi, Evangelos Eleftheriou
Abstract要約: 人工神経(ANN)とスパイクニューラルネット(SNN)にインスパイアされた新しい生物モデルを提案する。 GRAPESは、ニューラルネットワークの各ノードにおけるエラー信号の重量分布依存変調を実装している。生物学的にインスパイアされたこのメカニズムは,ネットワークの収束率を体系的に改善し,ANNやSNNの分類精度を大幅に向上させることを示す。
参考スコア（独自算出の注目度）: 5.144809478361604
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Plasticity circuits in the brain are known to be influenced by the distribution of the synaptic weights through the mechanisms of synaptic integration and local regulation of synaptic strength. However, the complex interplay of stimulation-dependent plasticity with local learning signals is disregarded by most of the artificial neural network training algorithms devised so far. Here, we propose a novel biologically inspired optimizer for artificial (ANNs) and spiking neural networks (SNNs) that incorporates key principles of synaptic integration observed in dendrites of cortical neurons: GRAPES (Group Responsibility for Adjusting the Propagation of Error Signals). GRAPES implements a weight-distribution dependent modulation of the error signal at each node of the neural network. We show that this biologically inspired mechanism leads to a systematic improvement of the convergence rate of the network, and substantially improves classification accuracy of ANNs and SNNs with both feedforward and recurrent architectures. Furthermore, we demonstrate that GRAPES supports performance scalability for models of increasing complexity and mitigates catastrophic forgetting by enabling networks to generalize to unseen tasks based on previously acquired knowledge. The local characteristics of GRAPES minimize the required memory resources, making it optimally suited for dedicated hardware implementations. Overall, our work indicates that reconciling neurophysiology insights with machine intelligence is key to boosting the performance of neural networks.
Abstract（参考訳）: 脳の塑性回路はシナプス結合の機構とシナプス強度の局所的な調節を通じてシナプス重みの分布に影響されることが知られている。しかし、刺激依存可塑性と局所学習信号との複雑な相互作用は、これまでの人工ニューラルネットワーク訓練アルゴリズムの多くでは無視されている。本稿では,大脳皮質ニューロンの樹状突起で観測されるシナプス積分の鍵となる原理を取り入れた,人工神経(ANN)とスパイクニューラルネットワーク(SNN)のための生物学的にインスパイアされた新しいオプティマイザを提案する。 GRAPESは、ニューラルネットワークの各ノードにおけるエラー信号の重量分布依存変調を実装している。この生物学的にインスパイアされたメカニズムは,ネットワークの収束率を体系的に向上させ,フィードフォワードおよびリカレントアーキテクチャによるANNとSNNの分類精度を大幅に向上させることを示す。さらに,GRAPESは複雑性の増大するモデルに対する性能スケーラビリティをサポートし,ネットワークが以前取得した知識に基づいて未確認タスクを一般化できるようにすることにより,破滅的な忘れを緩和することを示した。 GRAPESのローカル特性は必要なメモリ資源を最小限に抑え、専用のハードウェア実装に最適である。全体として、我々の研究は、神経生理学の洞察をマシンインテリジェンスと調和させることが、ニューラルネットワークの性能を高める鍵であることを示唆している。

関連論文リスト

Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文参考訳（メタデータ） (2024-09-17T04:48:45Z)
Exploiting Heterogeneity in Timescales for Sparse Recurrent Spiking Neural Networks for Energy-Efficient Edge Computing [16.60622265961373]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングの最前線である。本稿では,SNNのパフォーマンスに革命をもたらす3つの画期的な研究をまとめる。
論文参考訳（メタデータ） (2024-07-08T23:33:12Z)
Expressivity of Neural Networks with Random Weights and Learned Biases [44.02417750529102]
最近の研究は、任意の関数がパラメータの小さな部分集合をチューニングすることによって同様に学習できることを示し、普遍近似の境界を推し進めている。ランダムな重みを固定したフィードフォワードニューラルネットワークが、バイアスのみを学習することによって複数のタスクを実行することができることを示す理論的および数値的なエビデンスを提供する。我々の結果は神経科学に関係しており、シナプスの重みを変えることなく動的に行動に関連のある変化が起こる可能性を実証している。
論文参考訳（メタデータ） (2024-07-01T04:25:49Z)
Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
A Spiking Binary Neuron -- Detector of Causal Links [0.0]
因果関係認識は、学習行動、行動計画、外界ダイナミクスの推論を目的としたニューラルネットワークの基本的な操作である。本研究は、単純なスパイク二元性ニューロンを用いた因果関係認識を実現するための新しいアプローチを提案する。
論文参考訳（メタデータ） (2023-09-15T15:34:17Z)
A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文参考訳（メタデータ） (2023-05-26T02:52:12Z)
Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文参考訳（メタデータ） (2023-03-30T02:40:28Z)
A Synapse-Threshold Synergistic Learning Approach for Spiking Neural Networks [1.8556712517882232]
スパイキングニューラルネットワーク(SNN)は、さまざまなインテリジェントなシナリオにおいて優れた機能を示している。本研究では,SNNにおけるシナプス重みとスパイク閾値を同時に学習する新しいシナジー学習手法を開発する。
論文参考訳（メタデータ） (2022-06-10T06:41:36Z)
Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文参考訳（メタデータ） (2022-02-01T17:11:13Z)
Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
論文参考訳（メタデータ） (2021-06-15T05:30:17Z)
Structural plasticity on an accelerated analog neuromorphic hardware system [0.46180371154032884]
我々は, プレ・グポストシナプスのパートナーを常に切り替えることにより, 構造的可塑性を達成するための戦略を提案する。我々はこのアルゴリズムをアナログニューロモルフィックシステムBrainScaleS-2に実装した。ネットワークトポロジを最適化する能力を示し、簡単な教師付き学習シナリオで実装を評価した。
論文参考訳（メタデータ） (2019-12-27T10:15:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。