論文の概要: Language Modeling on a SpiNNaker 2 Neuromorphic Chip
- arxiv url: http://arxiv.org/abs/2312.09084v1
- Date: Thu, 14 Dec 2023 16:16:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-15 21:02:34.204217
- Title: Language Modeling on a SpiNNaker 2 Neuromorphic Chip
- Title(参考訳): スピンナカー2型ニューロモルフィックチップの言語モデル
- Authors: Khaleelulla Khan Nazeer, Mark Sch\"one, Rishav Mukherji, Christian
Mayr, David Kappel, Anand Subramoney
- Abstract要約: ニューロモルフィックデバイス上のイベントベースのネットワークは、推論のエネルギー消費を大幅に削減する潜在的方法を提供する。
ニューロモルフィックデバイス上での言語モデルの初の実装を実演する。
- 参考スコア(独自算出の注目度): 2.6798087564953095
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As large language models continue to scale in size rapidly, so too does the
computational power required to run them. Event-based networks on neuromorphic
devices offer a potential way to reduce energy consumption for inference
significantly. However, to date, most event-based networks that can run on
neuromorphic hardware, including spiking neural networks (SNNs), have not
achieved task performance even on par with LSTM models for language modeling.
As a result, language modeling on neuromorphic devices has seemed a distant
prospect. In this work, we demonstrate the first-ever implementation of a
language model on a neuromorphic device - specifically the SpiNNaker 2 chip -
based on a recently published event-based architecture called the EGRU.
SpiNNaker 2 is a many-core neuromorphic chip designed for large-scale
asynchronous processing, while the EGRU is architected to leverage such
hardware efficiently while maintaining competitive task performance. This
implementation marks the first time a neuromorphic language model matches
LSTMs, setting the stage for taking task performance to the level of large
language models. We also demonstrate results on a gesture recognition task
based on inputs from a DVS camera. Overall, our results showcase the
feasibility of this neuro-inspired neural network in hardware, highlighting
significant gains versus conventional hardware in energy efficiency for the
common use case of single batch inference.
- Abstract(参考訳): 大きな言語モデルが急速にスケールし続けるにつれて、それらを実行するのに必要な計算能力も向上する。
ニューロモルフィックデバイス上のイベントベースのネットワークは、推論のエネルギー消費を大幅に削減する潜在的方法を提供する。
しかし、これまでのところ、スパイクニューラルネットワーク(SNN)を含むニューロモルフィックなハードウェア上で動作可能なイベントベースのネットワークのほとんどは、言語モデリングのLSTMモデルと同等のタスク性能を達成できていない。
その結果、ニューロモルフィックデバイス上での言語モデリングは、遠い未来に思えた。
本稿では,ニューロモルフィックデバイス,特に最近発表されたイベントベースアーキテクチャであるEGRUをベースにしたSpiNNaker 2チップ上での言語モデルの実装を実演する。
SpiNNaker 2は大規模非同期処理用に設計された多コアニューロモルフィックチップであり、EGRUは競争力のあるタスク性能を維持しながら、これらのハードウェアを効率的に活用するように設計されている。
この実装は、ニューロモルフィック言語モデルがLSTMと初めて一致し、タスクパフォーマンスを大きな言語モデルのレベルに引き上げるためのステージを設定する。
また,dvsカメラからの入力に基づいてジェスチャ認識タスクの結果を示す。
全体として,このニューロインスパイアされたニューラルネットワークのハードウェアにおける実現可能性を示し,単一バッチ推論の一般的なユースケースにおいて,従来のハードウェアに比べてエネルギー効率が大幅に向上していることを強調した。
関連論文リスト
- NeuroCLIP: Neuromorphic Data Understanding by CLIP and SNN [16.104055742259128]
我々は2D CLIPと2つの特別設計モジュールからなるNeuroCLIPを開発した。
N-MNIST、CIFAR10-DVS、ES-ImageNetなどのニューロモルフィックデータセットに関する様々な実験は、NeuroCLIPの有効性を実証している。
論文 参考訳(メタデータ) (2023-06-21T07:46:27Z) - SpikeGPT: Generative Pre-trained Language Model with Spiking Neural
Networks [10.575541943697733]
スパイキングニューラルネットワーク(SNN)はスパースとイベント駆動のアクティベーションを活用して、モデル推論に関連する計算オーバーヘッドを削減する。
イベント駆動型スパイクアクティベーションユニットを用いた生成言語モデルを実装した。
SpikeGPTは、これまでで最大のバックプロパゲーション訓練SNNモデルであり、自然言語の生成と理解の両方に適している。
論文 参考訳(メタデータ) (2023-02-27T16:43:04Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。
我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-29T14:16:49Z) - Model Blending for Text Classification [0.15229257192293197]
テキスト分類などの自然言語処理におけるアートLSTMモデルの複雑性をCNNベースモデルに抽出することにより,テスト中の推論時間(あるいはレイテンシ)を短縮する。
論文 参考訳(メタデータ) (2022-08-05T05:07:45Z) - Dependency-based Mixture Language Models [53.152011258252315]
依存性に基づく混合言語モデルを紹介する。
より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。
次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
論文 参考訳(メタデータ) (2022-03-19T06:28:30Z) - Mapping and Validating a Point Neuron Model on Intel's Neuromorphic
Hardware Loihi [77.34726150561087]
インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。
Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。
Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
論文 参考訳(メタデータ) (2021-09-22T16:52:51Z) - A Spiking Neural Network for Image Segmentation [3.4998703934432682]
我々は,深層ニューラルネットワーク(ANN)アーキテクチャのU-Netを,Nengoフレームワークを用いたスパイキングニューラルネットワーク(SNN)アーキテクチャに変換する。
レートベースモデルとスパイクベースモデルの両方がトレーニングされ、パフォーマンスとパワーのベンチマークに最適化されている。
Intel Loihiのニューロモルフィックチップのニューロモルフィック実装は、従来のハードウェアよりも2倍エネルギー効率が高い。
論文 参考訳(メタデータ) (2021-06-16T16:23:18Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳(メタデータ) (2020-12-31T18:48:58Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳(メタデータ) (2020-09-14T12:01:30Z) - Compiling Spiking Neural Networks to Neuromorphic Hardware [4.273223677453178]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上で実行される機械学習アプリケーションのエネルギー消費を減少させる。
本稿では,資源制約のあるニューロモルフィックハードウェア上でSNNを分析し,コンパイルする手法を提案する。
論文 参考訳(メタデータ) (2020-04-07T21:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。