論文の概要: Surrogate gradients for analog neuromorphic computing

• arxiv url: http://arxiv.org/abs/2006.07239v3
• Date: Thu, 20 May 2021 14:13:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 01:54:31.421562
• Title: Surrogate gradients for analog neuromorphic computing
• Title（参考訳）: アナログニューロモルフィックコンピューティングのためのサロゲート勾配
• Authors: Benjamin Cramer, Sebastian Billaudelle, Simeon Kanya, Aron Leibfried, Andreas Gr\"ubl, Vitali Karasenko, Christian Pehle, Korbinian Schreiber, Yannik Stradmann, Johannes Weis, Johannes Schemmel, Friedemann Zenke
• Abstract要約: デバイスミスマッチに対する自己修正学習は,視覚と音声のベンチマークにおいて,競争力のあるネットワーク性能をもたらすことを示す。 我々の研究は、アナログニューロモルフィックハードウェア上での低エネルギースパイクネットワーク処理のための新しいベンチマークをいくつか設定する。
• 参考スコア（独自算出の注目度）: 2.6475944316982942
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To rapidly process temporal information at a low metabolic cost, biological neurons integrate inputs as an analog sum but communicate with spikes, binary events in time. Analog neuromorphic hardware uses the same principles to emulate spiking neural networks with exceptional energy-efficiency. However, instantiating high-performing spiking networks on such hardware remains a significant challenge due to device mismatch and the lack of efficient training algorithms. Here, we introduce a general in-the-loop learning framework based on surrogate gradients that resolves these issues. Using the BrainScaleS-2 neuromorphic system, we show that learning self-corrects for device mismatch resulting in competitive spiking network performance on both vision and speech benchmarks. Our networks display sparse spiking activity with, on average, far less than one spike per hidden neuron and input, perform inference at rates of up to 85 k frames/second, and consume less than 200 mW. In summary, our work sets several new benchmarks for low-energy spiking network processing on analog neuromorphic hardware and paves the way for future on-chip learning algorithms.
• Abstract（参考訳）: 生体ニューロンは、代謝コストの低い時間情報を迅速に処理し、アナログ和として入力を統合するが、スパイクやバイナリイベントと時間的に通信する。 アナログニューロモルフィックハードウェアは、スパイクニューラルネットワークをエネルギー効率にエミュレートするために同じ原理を用いる。 しかし、ハードウェア上でハイパフォーマンスなスパイクネットワークをインスタンス化することは、デバイスのミスマッチと効率的なトレーニングアルゴリズムの欠如のため、依然として大きな課題である。 本稿では,これらの問題を解くための代用勾配に基づく一般ループ学習フレームワークを提案する。 brainscales-2のニューロモルフィックシステムを用いて,視覚と音声のベンチマークにおいて,デバイスミスマッチに対する学習自己修正が競合的スパイクネットワーク性能をもたらすことを示した。 我々のネットワークは、隠れたニューロンと入力に対して平均1スパイク未満でスパーススパイキング活性を示し、最大85kフレーム/秒の速度で推論を行い、200mw未満で消費する。 要約すると、我々の研究はアナログニューロモルフィックハードウェア上での低エネルギースパイクネットワーク処理のためのいくつかの新しいベンチマークを設定し、将来のオンチップ学習アルゴリズムの道を開く。

関連論文リスト

• Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
  ニューロモルフィックコンピューティングでは、スパイクニューラルネットワーク(SNN)が推論タスクを実行し、シーケンシャルデータを含むワークロードの大幅な効率向上を提供する。 ハードウェアとソフトウェアの最近の進歩は、スパイクニューロン間で交換された各スパイクに数ビットのペイロードを埋め込むことにより、推論精度をさらに高めることを示した。 本稿では,マルチレベルSNNを用いた無線ニューロモルフィック分割計算アーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2024-11-07T14:08:35Z)
• Resistive Memory-based Neural Differential Equation Solver for Score-based Diffusion Model [55.116403765330084]
  スコアベースの拡散のような現在のAIGC法は、迅速性と効率性の点で依然として不足している。 スコアベース拡散のための時間連続型およびアナログ型インメモリ型ニューラル微分方程式解法を提案する。 我々は180nmの抵抗型メモリインメモリ・コンピューティング・マクロを用いて,我々の解を実験的に検証した。
  論文  参考訳（メタデータ） (2024-04-08T16:34:35Z)
• Low-power event-based face detection with asynchronous neuromorphic hardware [2.0774873363739985]
  本稿では、SynSense Speckニューロモルフィックチップ上に展開されたイベントベースの顔検出のためのオンチップスパイクニューラルネットワークの最初の例を示す。 トレーニングに用いるオフチップクロック駆動シミュレーションとオンチップイベント駆動推論との精度の相違について述べる。 オンチップ顔検出のmAP[0.5]は0.6で、20mWしか消費しない。
  論文  参考訳（メタデータ） (2023-12-21T19:23:02Z)
• ETLP: Event-based Three-factor Local Plasticity for online learning with neuromorphic hardware [105.54048699217668]
  イベントベース3要素局所塑性(ETLP)の計算複雑性に明らかな優位性を有する精度の競争性能を示す。 また, 局所的可塑性を用いた場合, スパイキングニューロンの閾値適応, 繰り返しトポロジーは, 時間的構造が豊富な時間的パターンを学習するために必要であることを示した。
  論文  参考訳（メタデータ） (2023-01-19T19:45:42Z)
• Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
  ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。 この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
  論文  参考訳（メタデータ） (2022-12-29T15:10:59Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Inference with Artificial Neural Networks on Analog Neuromorphic Hardware [0.0]
  BrainScaleS-2 ASICは混合信号ニューロンとシナプス回路から構成される。 システムは、人工ニューラルネットワークのベクトル行列乗算と累積モードでも動作する。
  論文  参考訳（メタデータ） (2020-06-23T17:25:06Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)
• Benchmarking Deep Spiking Neural Networks on Neuromorphic Hardware [0.0]
  我々は、トレーニング済みの非スパイクをスパイクニューラルネットワークに変換する手法を用いて、性能損失を評価し、インジェクション当たりのエネルギを測定する。 変換損失は、通常、デジタル実装では1%以下であり、アナログシステムでは、より少ないエネルギー/推論コストの利点により、適度に高いことが示される。
  論文  参考訳（メタデータ） (2020-04-03T16:25:49Z)
• Structural plasticity on an accelerated analog neuromorphic hardware system [0.46180371154032884]
  我々は, プレ・グポストシナプスのパートナーを常に切り替えることにより, 構造的可塑性を達成するための戦略を提案する。 我々はこのアルゴリズムをアナログニューロモルフィックシステムBrainScaleS-2に実装した。 ネットワークトポロジを最適化する能力を示し、簡単な教師付き学習シナリオで実装を評価した。
  論文  参考訳（メタデータ） (2019-12-27T10:15:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。