Fugu-MT 論文翻訳(概要): Brain-Inspired Learning on Neuromorphic Substrates

論文の概要: Brain-Inspired Learning on Neuromorphic Substrates

arxiv url: http://arxiv.org/abs/2010.11931v1
Date: Thu, 22 Oct 2020 17:56:59 GMT
ステータス: 処理完了
システム内更新日: 2022-10-04 05:03:44.675591
Title: Brain-Inspired Learning on Neuromorphic Substrates
Title（参考訳）: ニューロモルフィック基板を用いた脳誘発学習
Authors: Friedemann Zenke and Emre O. Neftci
Abstract要約: 本稿では、ニューロモルフィック基板のための実用的なオンライン学習アルゴリズムの設計のための数学的枠組みを提供する。具体的には、リアルタイムリカレントラーニング(RTRL)と、スパイキングニューラルネットワーク(SNN)をトレーニングするための生物学的に妥当な学習規則との直接的な関連を示す。我々はブロック対角ジャコビアンに基づくスパース近似を動機付け、アルゴリズムの計算複雑性を低減する。
参考スコア（独自算出の注目度）: 5.279475826661643
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Neuromorphic hardware strives to emulate brain-like neural networks and thus holds the promise for scalable, low-power information processing on temporal data streams. Yet, to solve real-world problems, these networks need to be trained. However, training on neuromorphic substrates creates significant challenges due to the offline character and the required non-local computations of gradient-based learning algorithms. This article provides a mathematical framework for the design of practical online learning algorithms for neuromorphic substrates. Specifically, we show a direct connection between Real-Time Recurrent Learning (RTRL), an online algorithm for computing gradients in conventional Recurrent Neural Networks (RNNs), and biologically plausible learning rules for training Spiking Neural Networks (SNNs). Further, we motivate a sparse approximation based on block-diagonal Jacobians, which reduces the algorithm's computational complexity, diminishes the non-local information requirements, and empirically leads to good learning performance, thereby improving its applicability to neuromorphic substrates. In summary, our framework bridges the gap between synaptic plasticity and gradient-based approaches from deep learning and lays the foundations for powerful information processing on future neuromorphic hardware systems.
Abstract（参考訳）: ニューロモルフィックハードウェアは、脳に似たニューラルネットワークをエミュレートし、時間的データストリーム上でスケーラブルで低消費電力の情報処理を約束する。しかし、現実世界の問題を解決するためには、これらのネットワークを訓練する必要がある。しかし,ニューロモルフィック基質の学習は,オフラインキャラクタと勾配に基づく学習アルゴリズムの非局所的な計算を必要とするため,大きな課題を生んでいる。本稿では,神経質基板のための実用的なオンライン学習アルゴリズムの設計のための数学的枠組みを提案する。具体的には、従来のリカレントニューラルネットワーク(RNN)の勾配を計算するオンラインアルゴリズムであるリアルタイムリカレント学習(RTRL)と、スパイキングニューラルネットワーク(SNN)をトレーニングするための生物学的に妥当な学習規則との直接的な関係を示す。さらに,ブロック対角的ヤコビアンに基づくスパース近似の動機付けを行い,アルゴリズムの計算複雑性を低減し,非局所的な情報要求を低減し,経験的に学習性能を向上し,ニューロモルフィック基板への適用性を向上させる。まとめると、我々のフレームワークは、シナプス可塑性とディープラーニングからの勾配に基づくアプローチのギャップを埋め、将来のニューロモルフィックハードウェアシステムにおける強力な情報処理の基礎を築いた。

関連論文リスト

Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文参考訳（メタデータ） (2024-09-17T04:48:45Z)
Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文参考訳（メタデータ） (2024-02-20T15:23:24Z)
Advanced Computing and Related Applications Leveraging Brain-inspired Spiking Neural Networks [0.0]
スパイクニューラルネットワークは、脳に似たコンピューティングを実現する人工知能のコアの1つである。本稿では,5つのニューロンモデルの強み,弱さ,適用性について要約し,5つのネットワークトポロジの特徴を解析する。
論文参考訳（メタデータ） (2023-09-08T16:41:08Z)
Deep Learning Meets Sparse Regularization: A Signal Processing Perspective [17.12783792226575]
データに適合するように訓練されたニューラルネットワークの機能特性を特徴付ける数学的枠組みを提案する。このフレームワークをサポートする主要な数学的ツールは、変換領域スパース正規化、計算トモグラフィーのラドン変換、近似理論である。このフレームワークは、ニューラルネットワークトレーニングにおける重量減衰正則化の効果、ネットワークアーキテクチャにおけるスキップ接続と低ランク重量行列の使用、ニューラルネットワークにおける空間性の役割、そしてニューラルネットワークが高次元問題でうまく機能する理由を説明する。
論文参考訳（メタデータ） (2023-01-23T17:16:21Z)
Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-06T13:04:45Z)
Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation? [41.58529335439799]
ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
論文参考訳（メタデータ） (2022-02-18T22:57:03Z)
On-Chip Error-triggered Learning of Multi-layer Memristive Spiking Neural Networks [1.7958576850695402]
オンライン3次重み更新を用いた局所的,勾配に基づく,エラートリガー付き学習アルゴリズムを提案する。提案アルゴリズムは,多層SNNを記憶型ニューロモルフィックハードウェアでオンライントレーニングすることを可能にする。
論文参考訳（メタデータ） (2020-11-21T19:44:19Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。スパイキングニューラルネットワークのハードウェア実装の現状について述べる。本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文参考訳（メタデータ） (2020-05-04T13:24:00Z)
Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文参考訳（メタデータ） (2020-03-26T11:13:07Z)
Structural plasticity on an accelerated analog neuromorphic hardware system [0.46180371154032884]
我々は, プレ・グポストシナプスのパートナーを常に切り替えることにより, 構造的可塑性を達成するための戦略を提案する。我々はこのアルゴリズムをアナログニューロモルフィックシステムBrainScaleS-2に実装した。ネットワークトポロジを最適化する能力を示し、簡単な教師付き学習シナリオで実装を評価した。
論文参考訳（メタデータ） (2019-12-27T10:15:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。