論文の概要: Biologically Plausible Learning on Neuromorphic Hardware Architectures
- arxiv url: http://arxiv.org/abs/2212.14337v2
- Date: Tue, 11 Apr 2023 10:50:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-12 18:29:21.397979
- Title: Biologically Plausible Learning on Neuromorphic Hardware Architectures
- Title（参考訳）: ニューロモルフィックハードウェアアーキテクチャの生物学的プラウザブル学習
- Authors: Christopher Wolters, Brady Taylor, Edward Hanson, Xiaoxuan Yang, Ulf
Schlichtmann and Yiran Chen
- Abstract要約: ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。
この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
- 参考スコア（独自算出の注目度）: 27.138481022472
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With an ever-growing number of parameters defining increasingly complex
networks, Deep Learning has led to several breakthroughs surpassing human
performance. As a result, data movement for these millions of model parameters
causes a growing imbalance known as the memory wall. Neuromorphic computing is
an emerging paradigm that confronts this imbalance by performing computations
directly in analog memories. On the software side, the sequential
Backpropagation algorithm prevents efficient parallelization and thus fast
convergence. A novel method, Direct Feedback Alignment, resolves inherent layer
dependencies by directly passing the error from the output to each layer. At
the intersection of hardware/software co-design, there is a demand for
developing algorithms that are tolerable to hardware nonidealities. Therefore,
this work explores the interrelationship of implementing bio-plausible learning
in-situ on neuromorphic hardware, emphasizing energy, area, and latency
constraints. Using the benchmarking framework DNN+NeuroSim, we investigate the
impact of hardware nonidealities and quantization on algorithm performance, as
well as how network topologies and algorithm-level design choices can scale
latency, energy and area consumption of a chip. To the best of our knowledge,
this work is the first to compare the impact of different learning algorithms
on Compute-In-Memory-based hardware and vice versa. The best results achieved
for accuracy remain Backpropagation-based, notably when facing hardware
imperfections. Direct Feedback Alignment, on the other hand, allows for
significant speedup due to parallelization, reducing training time by a factor
approaching N for N-layered networks.
- Abstract（参考訳）: ますます複雑なネットワークを定義するパラメータが増加し、Deep Learningは人間のパフォーマンスを超えたいくつかのブレークスルーをもたらしている。
その結果、これらの数百万のモデルパラメータのデータ移動は、メモリウォールとして知られる不均衡を引き起こします。
ニューロモルフィックコンピューティング(neuromorphic computing)は、アナログメモリで直接計算を行うことで、この不均衡に直面する新しいパラダイムである。
ソフトウェア側では、シーケンシャルバックプロパゲーションアルゴリズムは効率的な並列化と高速収束を防ぐ。
新たな手法であるdirect feedback alignmentは、出力から各レイヤにエラーを直接渡すことで、固有のレイヤ依存性を解決する。
ハードウェア/ソフトウェア共同設計の交差点では、ハードウェアの非理想性に耐性のあるアルゴリズムの開発が要求されている。
そこで本研究では,ニューロモルフィックなハードウェア上でバイオプラウズブルな学習を実現するための相互関係を探究し,エネルギー,面積,レイテンシの制約を強調する。
ベンチマークフレームワークdnn+neurosimを用いて,ハードウェアの非理想性と量子化がアルゴリズム性能に与える影響と,ネットワークトポロジとアルゴリズムレベルの設計選択がチップのレイテンシ,エネルギー,領域消費をスケールする方法について検討する。
私たちの知る限りでは、この研究は、異なる学習アルゴリズムがコンピュート・イン・メモリのハードウェアに与える影響を初めて比較したものです。
精度で達成された最良の結果はバックプロパゲーションベースであり、特にハードウェアの不完全さに直面した場合である。
一方、直接フィードバックアライメントは並列化による大幅な高速化を可能にし、N層ネットワークのNに近づく要因によるトレーニング時間を短縮する。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - A Realistic Simulation Framework for Analog/Digital Neuromorphic Architectures [73.65190161312555]
ARCANAは、混合信号ニューロモルフィック回路の特性を考慮に入れたスパイクニューラルネットワークシミュレータである。
その結果,ソフトウェアでトレーニングしたスパイクニューラルネットワークの挙動を,信頼性の高い推定結果として提示した。
論文 参考訳（メタデータ） (2024-09-23T11:16:46Z) - Resistive Memory-based Neural Differential Equation Solver for Score-based Diffusion Model [55.116403765330084]
スコアベースの拡散のような現在のAIGC法は、迅速性と効率性の点で依然として不足している。
スコアベース拡散のための時間連続型およびアナログ型インメモリ型ニューラル微分方程式解法を提案する。
我々は180nmの抵抗型メモリインメモリ・コンピューティング・マクロを用いて,我々の解を実験的に検証した。
論文 参考訳（メタデータ） (2024-04-08T16:34:35Z) - Quantization of Deep Neural Networks to facilitate self-correction of
weights on Phase Change Memory-based analog hardware [0.0]
乗法重みの集合を近似するアルゴリズムを開発する。
これらの重みは、性能の損失を最小限に抑えながら、元のネットワークの重みを表現することを目的としている。
その結果、オンチップパルス発生器と組み合わせると、私たちの自己補正ニューラルネットワークはアナログ認識アルゴリズムで訓練されたものと同等に機能することがわかった。
論文 参考訳（メタデータ） (2023-09-30T10:47:25Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - From DNNs to GANs: Review of efficient hardware architectures for deep
learning [0.0]
ニューラルネットワークとディープラーニングが現在の研究パラダイムに影響を与え始めている。
DSPプロセッサは、ニューラルネットワーク、アクティベーション機能、畳み込みニューラルネットワーク、生成的敵ネットワーク操作を実行することができない。
異なるアルゴリズムは、ニューラルネットワーク、アクティベーション機能、畳み込みニューラルネットワーク、生成対向ネットワークにおける高速なパフォーマンスに適合するDSPプロセッサを設計するために適合している。
論文 参考訳（メタデータ） (2021-06-06T13:23:06Z) - Phase Retrieval using Expectation Consistent Signal Recovery Algorithm
based on Hypernetwork [73.94896986868146]
位相検索は現代の計算イメージングシステムにおいて重要な要素である。
近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。
我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
論文 参考訳（メタデータ） (2021-01-12T08:36:23Z) - Hard-ODT: Hardware-Friendly Online Decision Tree Learning Algorithm and
System [17.55491405857204]
ビッグデータの時代、従来の決定木誘導アルゴリズムは大規模なデータセットの学習には適していません。
最先端のオンライン学習モデルの1つであるHoeffdingツリーの誘導を改善するための新しい量子化ベースのアルゴリズムを紹介します。
本稿では,フィールドプログラマブルゲートアレイ(FPGA)上に,システムレベルの最適化手法を用いた高性能,ハードウェア効率,スケーラブルなオンライン決定木学習システムであるHard-ODTを提案する。
論文 参考訳（メタデータ） (2020-12-11T12:06:44Z) - Robust error bounds for quantised and pruned neural networks [1.8083503268672914]
機械学習のアルゴリズムは、データとアルゴリズムを保存し、訓練し、デバイス上でローカルに分散化しようとしている。
デバイスハードウェアは、このセットアップにおけるモデル機能の主要なボトルネックとなり、スリム化され、より効率的なニューラルネットワークの必要性を生み出します。
半確定プログラムを導入して、ニューラルネットワークのプルーニングや定量化による最悪のケースエラーをバインドする。
計算されたバウンダリは、安全クリティカルなシステムにデプロイした場合に、これらのアルゴリズムの性能に確実性をもたらすことが期待されている。
論文 参考訳（メタデータ） (2020-11-30T22:19:44Z) - Surrogate gradients for analog neuromorphic computing [2.6475944316982942]
デバイスミスマッチに対する自己修正学習は,視覚と音声のベンチマークにおいて,競争力のあるネットワーク性能をもたらすことを示す。
我々の研究は、アナログニューロモルフィックハードウェア上での低エネルギースパイクネットワーク処理のための新しいベンチマークをいくつか設定する。
論文 参考訳（メタデータ） (2020-06-12T14:45:12Z) - Spiking Neural Networks Hardware Implementations and Challenges: a
Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。
スパイキングニューラルネットワークのハードウェア実装の現状について述べる。
本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文 参考訳（メタデータ） (2020-05-04T13:24:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。