論文の概要: Event-based Backpropagation for Analog Neuromorphic Hardware
- arxiv url: http://arxiv.org/abs/2302.07141v1
- Date: Mon, 13 Feb 2023 18:55:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-15 15:08:03.469967
- Title: Event-based Backpropagation for Analog Neuromorphic Hardware
- Title(参考訳): アナログニューロモルフィックハードウェアのためのイベントベースバックプロパゲーション
- Authors: Christian Pehle and Luca Blessing and Elias Arnold and Eric M\"uller
and Johannes Schemmel
- Abstract要約: 本稿では,BrainScaleS-2アナログニューロモルフィックハードウェアの例を用いて,EventPropアルゴリズムの実装について述べる。
本稿では、勾配を推定するための理論的枠組みと、推定の正しさを検証した結果について述べる。
これは、大規模アナログニューロモルフィックハードウェアにおけるスケーラブルでエネルギー効率のよいイベントベースの学習を可能にするアルゴリズムのデバイス上での完全な実装の実現可能性を示している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neuromorphic computing aims to incorporate lessons from studying biological
nervous systems in the design of computer architectures. While existing
approaches have successfully implemented aspects of those computational
principles, such as sparse spike-based computation, event-based scalable
learning has remained an elusive goal in large-scale systems. However, only
then the potential energy-efficiency advantages of neuromorphic systems
relative to other hardware architectures can be realized during learning. We
present our progress implementing the EventProp algorithm using the example of
the BrainScaleS-2 analog neuromorphic hardware. Previous gradient-based
approaches to learning used "surrogate gradients" and dense sampling of
observables or were limited by assumptions on the underlying dynamics and loss
functions. In contrast, our approach only needs spike time observations from
the system while being able to incorporate other system observables, such as
membrane voltage measurements, in a principled way. This leads to a
one-order-of-magnitude improvement in the information efficiency of the
gradient estimate, which would directly translate to corresponding energy
efficiency improvements in an optimized hardware implementation. We present the
theoretical framework for estimating gradients and results verifying the
correctness of the estimation, as well as results on a low-dimensional
classification task using the BrainScaleS-2 system. Building on this work has
the potential to enable scalable gradient estimation in large-scale
neuromorphic hardware as a continuous measurement of the system state would be
prohibitive and energy-inefficient in such instances. It also suggests the
feasibility of a full on-device implementation of the algorithm that would
enable scalable, energy-efficient, event-based learning in large-scale analog
neuromorphic hardware.
- Abstract(参考訳): ニューロモルフィックコンピューティングは、コンピュータアーキテクチャの設計に生物学的神経システムの研究の教訓を取り入れることを目的としている。
既存のアプローチでは、スパーススパイクベースの計算のような計算原理の側面をうまく実装しているが、大規模システムでは、イベントベースのスケーラブルな学習は、いまだに難解な目標である。
しかし、他のハードウェアアーキテクチャと比較して、ニューロモルフィックシステムの潜在的なエネルギー効率の利点は学習中にのみ実現できる。
本稿では,BrainScaleS-2アナログニューロモルフィックハードウェアの例を用いて,EventPropアルゴリズムの実装について述べる。
以前のグラデーションに基づく学習のアプローチでは、"surrogate gradients"と" dense sampling of observables"を使用していたり、基礎となるダイナミクスと損失関数の仮定によって制限されていたりした。
対照的に、我々のアプローチは、原理化された方法で膜電圧測定などの他の観測可能なシステムを組み込むことができながら、システムからのスパイク時間観測しか必要としない。
これにより、勾配推定の情報効率が1次改善され、最適化されたハードウェア実装で対応するエネルギー効率の改善に直接変換される。
本稿では,脳スケール2システムを用いた低次元分類タスクにおいて,勾配推定と推定の正確性を検証するための理論的枠組みを提案する。
この研究に基づいて構築することは、システム状態の連続的な測定が禁止され、エネルギー効率が低下するので、大規模ニューロモルフィックハードウェアにおけるスケーラブルな勾配推定を可能にする可能性がある。
また、大規模アナログニューロモーフィックハードウェアにおけるスケーラブルでエネルギー効率のよいイベントベースの学習を可能にするアルゴリズムのデバイス上での完全な実装の可能性も示唆している。
関連論文リスト
- Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。
本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文 参考訳(メタデータ) (2023-03-05T17:57:33Z) - Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。
この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
論文 参考訳(メタデータ) (2022-12-29T15:10:59Z) - Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。
標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。
サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
論文 参考訳(メタデータ) (2022-10-12T06:49:16Z) - Spike-based local synaptic plasticity: A survey of computational models
and neuromorphic circuits [1.8464222520424338]
シナプス可塑性のモデル化における歴史的,ボトムアップ的,トップダウン的なアプローチを概観する。
スパイクベース学習ルールの低レイテンシおよび低消費電力ハードウェア実装をサポートする計算プリミティブを同定する。
論文 参考訳(メタデータ) (2022-09-30T15:35:04Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳(メタデータ) (2022-06-01T23:26:51Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳(メタデータ) (2022-04-21T05:27:09Z) - Gradient Descent in Materio [3.756477173839499]
材料システムにおいて, 損失関数の勾配降下を行うための, 効率的で正確なホモダイン勾配抽出法を示す。
これは、原則として勾配勾配勾配は、単純な電子を用いてマテオで完全に実装できることを示している。
論文 参考訳(メタデータ) (2021-05-15T12:18:31Z) - A deep learning theory for neural networks grounded in physics [2.132096006921048]
ニューロモルフィックアーキテクチャ上で大規模で高速で効率的なニューラルネットワークを構築するには、それらを実装および訓練するためのアルゴリズムを再考する必要がある。
私たちのフレームワークは、非常に幅広いモデル、すなわち状態やダイナミクスが変動方程式によって記述されるシステムに適用されます。
論文 参考訳(メタデータ) (2021-03-18T02:12:48Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳(メタデータ) (2020-11-18T18:52:08Z) - Spiking Neural Networks Hardware Implementations and Challenges: a
Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。
スパイキングニューラルネットワークのハードウェア実装の現状について述べる。
本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文 参考訳(メタデータ) (2020-05-04T13:24:00Z) - Structural plasticity on an accelerated analog neuromorphic hardware
system [0.46180371154032884]
我々は, プレ・グポストシナプスのパートナーを常に切り替えることにより, 構造的可塑性を達成するための戦略を提案する。
我々はこのアルゴリズムをアナログニューロモルフィックシステムBrainScaleS-2に実装した。
ネットワークトポロジを最適化する能力を示し、簡単な教師付き学習シナリオで実装を評価した。
論文 参考訳(メタデータ) (2019-12-27T10:15:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。