論文の概要: SNNLP: Energy-Efficient Natural Language Processing Using Spiking Neural
Networks
- arxiv url: http://arxiv.org/abs/2401.17911v1
- Date: Wed, 31 Jan 2024 15:16:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 14:02:31.047913
- Title: SNNLP: Energy-Efficient Natural Language Processing Using Spiking Neural
Networks
- Title（参考訳）: SNNLP:スパイキングニューラルネットワークを用いたエネルギー効率の良い自然言語処理
- Authors: R. Alexander Knipper, Kaniz Mishty, Mehdi Sadi, Shubhra Kanti Karmaker
Santu
- Abstract要約: スパイキングニューラルネットワーク(SNN)はコンピュータビジョンや信号処理に用いられる。
自然言語処理(NLP)は、ニューロモルフィック・セッティングで研究されている主要な分野の1つである。
我々は,テキストをスパイクとして符号化する手法を提案し,ベンチマークNLPタスクにおいて,ポアソンレートコーディング法を約13%向上させる。
- 参考スコア（独自算出の注目度）: 1.9461779294968458
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As spiking neural networks receive more attention, we look toward
applications of this computing paradigm in fields other than computer vision
and signal processing. One major field, underexplored in the neuromorphic
setting, is Natural Language Processing (NLP), where most state-of-the-art
solutions still heavily rely on resource-consuming and power-hungry traditional
deep learning architectures. Therefore, it is compelling to design NLP models
for neuromorphic architectures due to their low energy requirements, with the
additional benefit of a more human-brain-like operating model for processing
information. However, one of the biggest issues with bringing NLP to the
neuromorphic setting is in properly encoding text into a spike train so that it
can be seamlessly handled by both current and future SNN architectures. In this
paper, we compare various methods of encoding text as spikes and assess each
method's performance in an associated SNN on a downstream NLP task, namely,
sentiment analysis. Furthermore, we go on to propose a new method of encoding
text as spikes that outperforms a widely-used rate-coding technique, Poisson
rate-coding, by around 13\% on our benchmark NLP tasks. Subsequently, we
demonstrate the energy efficiency of SNNs implemented in hardware for the
sentiment analysis task compared to traditional deep neural networks, observing
an energy efficiency increase of more than 32x during inference and 60x during
training while incurring the expected energy-performance tradeoff.
- Abstract（参考訳）: スパイクニューラルネットワークが注目されるにつれて、コンピュータビジョンや信号処理以外の分野におけるこの計算パラダイムの応用に目を向ける。
ニューロモルフィックな環境では未熟な分野が自然言語処理(nlp)で、ほとんどの最先端ソリューションは依然としてリソース消費と電力消費の伝統的なディープラーニングアーキテクチャに大きく依存している。
したがって、より人脳的な操作モデルによる情報処理の利点により、低エネルギーの要求により、ニューロモルフィックなアーキテクチャのためのnlpモデルを設計することは魅力的である。
しかし、NLPをニューロモルフィックな設定に持ち込む際の最大の問題は、現在のSNNアーキテクチャと将来のSNNアーキテクチャの両方でシームレスに扱えるように、テキストをスパイクトレインに適切にエンコードすることである。
本稿では,テキストをスパイクとしてエンコードする様々な手法を比較し,下流nlpタスクにおける関連するsnnにおける各手法の性能,すなわち感情分析を評価する。
さらに,テキストをスパイクとして符号化する新たな手法を提案し,ベンチマークNLPタスクの約13倍の速度符号化手法であるPoissonの速度符号化性能を向上する。
その後、従来の深層ニューラルネットワークと比較して、感情分析タスクにおいてハードウェアに実装されたSNNのエネルギー効率を実証し、予測されるエネルギー性能トレードオフを発生させながら、トレーニング中に32倍、60倍以上のエネルギー効率の増加を観測した。
関連論文リスト
- Stochastic Spiking Neural Networks with First-to-Spike Coding [7.955633422160267]
スパイキングニューラルネットワーク (SNN) は、その生物の楽観性とエネルギー効率で知られている。
本研究では,SNNアーキテクチャにおける新しい計算手法と情報符号化方式の融合について検討する。
提案手法のトレードオフを,精度,推論遅延,スパイク空間性,エネルギー消費,データセットの観点から検討する。
論文 参考訳（メタデータ） (2024-04-26T22:52:23Z) - Recent Advances in Scalable Energy-Efficient and Trustworthy Spiking
Neural networks: from Algorithms to Technology [11.479629320025673]
スパイキングニューラルネットワーク(SNN)は、幅広い信号処理アプリケーションのために、ディープニューラルネットワークの魅力的な代替品となっている。
我々は、低レイテンシとエネルギー効率のSNNを効率的に訓練し、拡張するためのアルゴリズムと最適化の進歩について述べる。
デプロイ可能なSNNシステム構築における研究の今後の可能性について論じる。
論文 参考訳（メタデータ） (2023-12-02T19:47:00Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Spiking Neural Network Decision Feedback Equalization [70.3497683558609]
決定フィードバック等化器(DFE)に似たフィードバック構造を持つSNNベースの等化器を提案する。
提案手法は,3種類の模範チャネルに対して,従来の線形等化器よりも明らかに優れていることを示す。
決定フィードバック構造を持つSNNは、競合エネルギー効率の良いトランシーバへのパスを可能にする。
論文 参考訳（メタデータ） (2022-11-09T09:19:15Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - SpikeMS: Deep Spiking Neural Network for Motion Segmentation [7.491944503744111]
textitSpikeMSは、モーションセグメンテーションの大規模な問題に対する最初のディープエンコーダデコーダSNNアーキテクチャである。
textitSpikeMSは,テキストインクリメンタルな予測や,より少ない量のテストデータからの予測を行うことができることを示す。
論文 参考訳（メタデータ） (2021-05-13T21:34:55Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z) - A Supervised Learning Algorithm for Multilayer Spiking Neural Networks
Based on Temporal Coding Toward Energy-Efficient VLSI Processor Design [2.6872737601772956]
スパイキングニューラルネットワーク(スパイキングニューラルネット、英: Spiking Neural Network、SNN)は、スパイクの形で情報を処理できる脳にインスパイアされた数学的モデルである。
時間符号化に基づくSNNのための新しい教師付き学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-01-08T03:37:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。