論文の概要: Scalable Superconductor Neuron with Ternary Synaptic Connections for
Ultra-Fast SNN Hardware
- arxiv url: http://arxiv.org/abs/2402.16384v2
- Date: Tue, 27 Feb 2024 07:06:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 11:18:44.296320
- Title: Scalable Superconductor Neuron with Ternary Synaptic Connections for
Ultra-Fast SNN Hardware
- Title（参考訳）: 超高速snハードウェアのための三相シナプス接続型スケーラブル超伝導ニューロン
- Authors: Mustafa Altay Karamuftuoglu, Beyza Zeynep Ucpinar, Arash Fayyazi,
Sasan Razmkhah, Mehdi Kamal, Massoud Pedram
- Abstract要約: 超高性能スパイキングニューラルネットワーク(SNN)加速器のための新しい高ファンイン微分超伝導体ニューロン構造を設計する。
提案したニューロン設計は超伝導エレクトロニクスファブリックに基づいており、それぞれ2つのジョセフソン接合を持つ複数の超伝導ループが組み込まれている。
ネットワークのスループットは8.92GHzで、1回の推論で1.5nJしか消費せず、冷却に伴うエネルギー消費量は4Kである。
- 参考スコア（独自算出の注目度）: 4.216765320139095
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A novel high-fan-in differential superconductor neuron structure designed for
ultra-high-performance Spiking Neural Network (SNN) accelerators is presented.
Utilizing a high-fan-in neuron structure allows us to design SNN accelerators
with more synaptic connections, enhancing the overall network capabilities. The
proposed neuron design is based on superconductor electronics fabric,
incorporating multiple superconducting loops, each with two Josephson
Junctions. This arrangement enables each input data branch to have positive and
negative inductive coupling, supporting excitatory and inhibitory synaptic
data. Compatibility with synaptic devices and thresholding operation is
achieved using a single flux quantum (SFQ) pulse-based logic style. The neuron
design, along with ternary synaptic connections, forms the foundation for a
superconductor-based SNN inference. To demonstrate the capabilities of our
design, we train the SNN using snnTorch, augmenting the PyTorch framework.
After pruning, the demonstrated SNN inference achieves an impressive 96.1%
accuracy on MNIST images. Notably, the network exhibits a remarkable throughput
of 8.92 GHz while consuming only 1.5 nJ per inference, including the energy
consumption associated with cooling to 4K. These results underscore the
potential of superconductor electronics in developing high-performance and
ultra-energy-efficient neural network accelerator architectures.
- Abstract（参考訳）: 超高性能スパイキングニューラルネットワーク(SNN)加速器用に設計された新しい高ファンイン微分超伝導体ニューロン構造を示す。
高ファンインニューロン構造を利用することで、よりシナプス的な接続を持つSNNアクセラレータを設計し、全体的なネットワーク機能を向上させることができる。
提案したニューロン設計は、複数の超伝導ループと2つのジョセフソン接合を組み込んだ超伝導エレクトロニクスファブリックに基づいている。
これにより、各入力データ分岐が正および負の誘導結合を持ち、興奮および抑制シナプスデータをサポートすることができる。
シナプスデバイスとの互換性としきい値操作は単一のフラックス量子(sfq)パルスベースの論理スタイルを用いて達成される。
ニューロン設計は3次シナプス接続と共に超伝導体に基づくSNN推論の基礎を形成する。
設計の能力を示すため、snnTorchを使用してSNNをトレーニングし、PyTorchフレームワークを拡張します。
プルーニング後、実証されたSNN推論は、MNIST画像上で96.1%の精度を達成する。
特に、ネットワークのスループットは8.92GHzで、1回の推論で1.5nJしか消費せず、冷却に伴うエネルギー消費量は4Kである。
これらの結果は、高性能・超エネルギー効率のニューラルネットワーク加速器アーキテクチャ開発における超伝導エレクトロニクスの可能性の核となる。
関連論文リスト
- Single Neuromorphic Memristor closely Emulates Multiple Synaptic
Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。
これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文 参考訳（メタデータ） (2024-02-26T15:01:54Z) - Spiker+: a framework for the generation of efficient Spiking Neural
Networks FPGA accelerators for inference at the edge [49.42371633618761]
Spiker+はFPGA上で、エッジでの推論のために効率よく、低消費電力で、低領域でカスタマイズされたSpking Neural Networks(SNN)アクセラレータを生成するためのフレームワークである。
Spiker+ は MNIST と Spiking Heidelberg Digits (SHD) の2つのベンチマークデータセットでテストされている。
論文 参考訳（メタデータ） (2024-01-02T10:42:42Z) - Deep Pulse-Coupled Neural Networks [31.65350290424234]
ニューラルネットワーク(SNN)は、ニューロンを利用して脳の情報処理機構をキャプチャする。
本研究では、複雑な力学、すなわちパルス結合型ニューラルネットワーク(PCNN)を用いた、より生物学的に実証可能なニューラルモデルを活用する。
我々は、SNNでよく使われるLIFニューロンをPCNNニューロンに置き換えることで、ディープパルス結合ニューラルネットワーク(DPCNN)を構築する。
論文 参考訳（メタデータ） (2023-12-24T08:26:00Z) - Hybrid Synaptic Structure for Spiking Neural Network Realization [0.0]
本稿では, JJ-Soma に対して正および負の重み付き入力を適用可能なコンパクトな SFQ ベースのシナプス設計を提案する。
JJ-Synapseは超高周波数で動作でき、CMOSよりも消費電力が桁違いに小さく、商用Nbプロセスで便利に製造できる。
論文 参考訳（メタデータ） (2023-11-13T22:42:07Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳（メタデータ） (2023-10-25T13:15:17Z) - Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。
線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。
NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文 参考訳（メタデータ） (2023-07-27T06:59:46Z) - On-Sensor Data Filtering using Neuromorphic Computing for High Energy
Physics Experiments [1.554920942634392]
本稿では, 粒子の逆運動量に基づいてセンサデータをフィルタリングする小型ニューロモルフィックモデルを提案する。
入ってくる電荷波形は二値イベントのストリームに変換され、SNNによって処理される。
論文 参考訳（メタデータ） (2023-07-20T21:25:25Z) - Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。
本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。
CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文 参考訳（メタデータ） (2022-10-10T10:05:00Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳（メタデータ） (2022-09-16T06:36:06Z) - A Resource-efficient Spiking Neural Network Accelerator Supporting
Emerging Neural Encoding [6.047137174639418]
スパイキングニューラルネットワーク(SNN)は、その低消費電力乗算自由コンピューティングにより、最近勢いを増している。
SNNは、大規模なモデルのための人工知能ニューラルネットワーク(ANN)と同様の精度に達するために、非常に長いスパイク列車(1000台まで)を必要とする。
ニューラルエンコーディングでSNNを効率的にサポートできる新しいハードウェアアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-06-06T10:56:25Z) - Resonant tunnelling diode nano-optoelectronic spiking nodes for
neuromorphic information processing [0.0]
超高速かつ低消費電力で動作可能な光電子人工ニューロンを提案する。
提案システムは、励起可能なトンネルダイオード(RTD)素子とナノスケール光源を組み合わせたものである。
論文 参考訳（メタデータ） (2021-07-14T14:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。