論文の概要: Language Modeling on a SpiNNaker 2 Neuromorphic Chip

• arxiv url: http://arxiv.org/abs/2312.09084v2
• Date: Wed, 17 Jan 2024 10:26:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 19:50:27.054992
• Title: Language Modeling on a SpiNNaker 2 Neuromorphic Chip
• Title（参考訳）: スピンナカー2型ニューロモルフィックチップの言語モデル
• Authors: Khaleelulla Khan Nazeer, Mark Sch\"one, Rishav Mukherji, Bernhard Vogginger, Christian Mayr, David Kappel, Anand Subramoney
• Abstract要約: ニューロモルフィックデバイス上のイベントベースのネットワークは、推論のエネルギー消費を大幅に削減する潜在的方法を提供する。 ニューロモルフィックデバイス上での言語モデルの初の実装を実演する。
• 参考スコア（独自算出の注目度）: 2.760675104404914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models continue to scale in size rapidly, so too does the computational power required to run them. Event-based networks on neuromorphic devices offer a potential way to reduce energy consumption for inference significantly. However, to date, most event-based networks that can run on neuromorphic hardware, including spiking neural networks (SNNs), have not achieved task performance even on par with LSTM models for language modeling. As a result, language modeling on neuromorphic devices has seemed a distant prospect. In this work, we demonstrate the first-ever implementation of a language model on a neuromorphic device - specifically the SpiNNaker 2 chip - based on a recently published event-based architecture called the EGRU. SpiNNaker 2 is a many-core neuromorphic chip designed for large-scale asynchronous processing, while the EGRU is architected to leverage such hardware efficiently while maintaining competitive task performance. This implementation marks the first time a neuromorphic language model matches LSTMs, setting the stage for taking task performance to the level of large language models. We also demonstrate results on a gesture recognition task based on inputs from a DVS camera. Overall, our results showcase the feasibility of this neuro-inspired neural network in hardware, highlighting significant gains versus conventional hardware in energy efficiency for the common use case of single batch inference.
• Abstract（参考訳）: 大きな言語モデルが急速にスケールし続けるにつれて、それらを実行するのに必要な計算能力も向上する。 ニューロモルフィックデバイス上のイベントベースのネットワークは、推論のエネルギー消費を大幅に削減する潜在的方法を提供する。 しかし、これまでのところ、スパイクニューラルネットワーク(SNN)を含むニューロモルフィックなハードウェア上で動作可能なイベントベースのネットワークのほとんどは、言語モデリングのLSTMモデルと同等のタスク性能を達成できていない。 その結果、ニューロモルフィックデバイス上での言語モデリングは、遠い未来に思えた。 本稿では,ニューロモルフィックデバイス,特に最近発表されたイベントベースアーキテクチャであるEGRUをベースにしたSpiNNaker 2チップ上での言語モデルの実装を実演する。 SpiNNaker 2は大規模非同期処理用に設計された多コアニューロモルフィックチップであり、EGRUは競争力のあるタスク性能を維持しながら、これらのハードウェアを効率的に活用するように設計されている。 この実装は、ニューロモルフィック言語モデルがLSTMと初めて一致し、タスクパフォーマンスを大きな言語モデルのレベルに引き上げるためのステージを設定する。 また,dvsカメラからの入力に基づいてジェスチャ認識タスクの結果を示す。 全体として,このニューロインスパイアされたニューラルネットワークのハードウェアにおける実現可能性を示し,単一バッチ推論の一般的なユースケースにおいて,従来のハードウェアに比べてエネルギー効率が大幅に向上していることを強調した。

関連論文リスト

• Micro-power spoken keyword spotting on Xylo Audio 2 [0.0]
  本稿では,Xylo Audio 2 (SYNS61210) のニューロモーフィックプロセッサ上での音声キーワードスポッティングベンチマーク "Aloha" の実装について述べる。 95%) の高展開量化タスクの精度が, ベンチマークタスクの精度を上回った。 我々は、クラス最高の動的推論パワー(291mu$W)とクラス最高の推論効率(6.6mu$J / Inf)を得た。
  論文  参考訳（メタデータ） (2024-06-21T12:59:37Z)
• EvSegSNN: Neuromorphic Semantic Segmentation for Event Data [0.6138671548064356]
  EvSegSNN は、Parametric Leaky Integrate と Fire のニューロンに依存した、生物学的に検証可能なエンコーダ-デコーダU字型アーキテクチャである。 本稿では,スパイキングニューラルネットワークとイベントカメラを組み合わせることによって,エンド・ツー・エンドのバイオインスパイアされたセマンティックセマンティックセマンティクス手法を提案する。 DDD17で実施された実験は、EvSegSNNがMIoUの観点から最も近い最先端モデルを上回っていることを示している。
  論文  参考訳（メタデータ） (2024-06-20T10:36:24Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Detection of Fast-Moving Objects with Neuromorphic Hardware [12.323012135924374]
  スパイキングニューラルネットワーク(SNN)は、しばしば次世代ニューラルネットワーク(NN)と見なされる。 ニューロモルフィックコンピューティング(NC)とSNNは、しばしば次世代ニューラルネットワーク(NN)と見なされる。
  論文  参考訳（メタデータ） (2024-03-15T20:53:10Z)
• SpikeGPT: Generative Pre-trained Language Model with Spiking Neural Networks [21.616328837090396]
  スパイキングニューラルネットワーク(SNN)はスパースとイベント駆動のアクティベーションを活用して、モデル推論に関連する計算オーバーヘッドを削減する。 イベント駆動型スパイクアクティベーションユニットを用いた生成言語モデルを実装した。 SpikeGPTは、これまでで最大のバックプロパゲーション訓練SNNモデルであり、自然言語の生成と理解の両方に適している。
  論文  参考訳（メタデータ） (2023-02-27T16:43:04Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
  本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。 我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-29T14:16:49Z)
• Mapping and Validating a Point Neuron Model on Intel's Neuromorphic Hardware Loihi [77.34726150561087]
  インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。 Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。 Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
  論文  参考訳（メタデータ） (2021-09-22T16:52:51Z)
• A Spiking Neural Network for Image Segmentation [3.4998703934432682]
  我々は,深層ニューラルネットワーク(ANN)アーキテクチャのU-Netを,Nengoフレームワークを用いたスパイキングニューラルネットワーク(SNN)アーキテクチャに変換する。 レートベースモデルとスパイクベースモデルの両方がトレーニングされ、パフォーマンスとパワーのベンチマークに最適化されている。 Intel Loihiのニューロモルフィックチップのニューロモルフィック実装は、従来のハードウェアよりも2倍エネルギー効率が高い。
  論文  参考訳（メタデータ） (2021-06-16T16:23:18Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。