論文の概要: Text Classification in Memristor-based Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2207.13729v1
• Date: Wed, 27 Jul 2022 18:08:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-29 12:11:33.224212
• Title: Text Classification in Memristor-based Spiking Neural Networks
• Title（参考訳）: Memristor-based Spiking Neural Networksにおけるテキスト分類
• Authors: Jinqi Huang, Alex Serb, Spyros Stathopoulos, Themis Prodromakis
• Abstract要約: IMDB映画レビューデータセットにおける感情分析タスクを実演するために,仮想記憶器アレイを用いたシミュレーションフレームワークを開発した。 トレーニング済みのANNをmmristorベースのSNNに変換し,84.86%をmemristorベースのSNNを直接トレーニングすることで,85.88%の分類精度を実現する。 また, スパイクトレイン長, リードノイズ, および重み更新停止条件などの大域的パラメータが, どちらのアプローチにおいてもニューラルネットワークに与える影響についても検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Memristors, emerging non-volatile memory devices, have shown promising potential in neuromorphic hardware designs, especially in spiking neural network (SNN) hardware implementation. Memristor-based SNNs have been successfully applied in a wide range of various applications, including image classification and pattern recognition. However, implementing memristor-based SNNs in text classification is still under exploration. One of the main reasons is that training memristor-based SNNs for text classification is costly due to the lack of efficient learning rules and memristor non-idealities. To address these issues and accelerate the research of exploring memristor-based spiking neural networks in text classification applications, we develop a simulation framework with a virtual memristor array using an empirical memristor model. We use this framework to demonstrate a sentiment analysis task in the IMDB movie reviews dataset. We take two approaches to obtain trained spiking neural networks with memristor models: 1) by converting a pre-trained artificial neural network (ANN) to a memristor-based SNN, or 2) by training a memristor-based SNN directly. These two approaches can be applied in two scenarios: offline classification and online training. We achieve the classification accuracy of 85.88% by converting a pre-trained ANN to a memristor-based SNN and 84.86% by training the memristor-based SNN directly, given that the baseline training accuracy of the equivalent ANN is 86.02%. We conclude that it is possible to achieve similar classification accuracy in simulation from ANNs to SNNs and from non-memristive synapses to data-driven memristive synapses. We also investigate how global parameters such as spike train length, the read noise, and the weight updating stop conditions affect the neural networks in both approaches.
• Abstract（参考訳）: 非揮発性メモリデバイスであるMemristorは、特にスパイキングニューラルネットワーク(SNN)ハードウェア実装において、ニューロモルフィックハードウェア設計において有望な可能性を示している。 memristorベースのsnsは、画像分類やパターン認識など、幅広い応用にうまく適用されている。 しかし、テキスト分類におけるmemristorベースのSNNの実装はまだ検討中である。 テキスト分類のための memristor ベースの snn のトレーニングは、効率的な学習ルールや memristor の非理想性が欠如しているため、コストがかかる。 これらの問題に対処し,テキスト分類アプリケーションにおけるmemristorベースのスパイクニューラルネットワークの研究を加速するために,経験的memristorモデルを用いた仮想memristorアレイを用いたシミュレーションフレームワークを開発した。 本フレームワークを用いて,IMDB映画レビューデータセットの感情分析タスクを実演する。 memristorモデルを用いた訓練されたスパイクニューラルネットワークを得るための2つのアプローチを取り入れた。 1) トレーニング済みの人工ニューラルネットワーク(ANN)をmemristorベースのSNNに変換する、あるいは 2)mmristorベースのSNNを直接トレーニングする。 これら2つのアプローチは、オフライン分類とオンライントレーニングの2つのシナリオに適用できる。 トレーニング済みのANNをmmristorベースのSNNに変換し,84.86%をmemristorベースのSNNを直接トレーニングすることで,85.88%の分類精度を実現した。 annからsnsへのシミュレーション、および非memristive synapsesからデータ駆動型memristive synapsesへのシミュレーションにおいて、同様の分類精度を達成することができると結論づけた。 また, スパイクトレイン長, リードノイズ, および重み更新停止条件などの大域的パラメータが, どちらのアプローチにおいてもニューラルネットワークに与える影響についても検討した。

関連論文リスト

• High-performance deep spiking neural networks with 0.3 spikes per neuron [9.01407445068455]
  バイオインスパイアされたスパイクニューラルネットワーク(SNN)を人工ニューラルネットワーク(ANN)より訓練することは困難である 深部SNNモデルのトレーニングは,ANNと全く同じ性能が得られることを示す。 我々のSNNは1ニューロンあたり0.3スパイク以下で高性能な分類を行い、エネルギー効率の良い実装に役立てる。
  論文  参考訳（メタデータ） (2023-06-14T21:01:35Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• PC-SNN: Supervised Learning with Local Hebbian Synaptic Plasticity based on Predictive Coding in Spiking Neural Networks [1.6172800007896282]
  本稿では,予測符号化理論に触発された新しい学習アルゴリズムを提案する。 教師あり学習を完全自律的に行うことができ、バックプロップとして成功することを示す。 この手法は,最先端の多層SNNと比較して,良好な性能を実現する。
  論文  参考訳（メタデータ） (2022-11-24T09:56:02Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• SAR Image Classification Based on Spiking Neural Network through Spike-Time Dependent Plasticity and Gradient Descent [7.106664778883502]
  スパイキングニューラルネットワーク(SNN)は、脳のような知能のコアコンポーネントの1つである。 本稿では、教師なしおよび教師なし学習SNNに基づいて、完全なSAR画像を構築する。
  論文  参考訳（メタデータ） (2021-06-15T09:36:04Z)
• A Temporal Neural Network Architecture for Online Learning [0.6091702876917281]
  時間的ニューラルネットワーク(TNN)は、相対スパイク時間として符号化された情報を通信し、処理する。 TNNアーキテクチャを提案し、概念実証として、オンライン教師付き分類のより大きな文脈でTNNの動作を示す。
  論文  参考訳（メタデータ） (2020-11-27T17:15:29Z)
• Skip-Connected Self-Recurrent Spiking Neural Networks with Joint Intrinsic Parameter and Synaptic Weight Training [14.992756670960008]
  我々はSkip-Connected Self-Recurrent SNNs (ScSr-SNNs) と呼ばれる新しいタイプのRSNNを提案する。 ScSr-SNNは、最先端BP法で訓練された他のタイプのRSNNと比較して、パフォーマンスを最大2.55%向上させることができる。
  論文  参考訳（メタデータ） (2020-10-23T22:27:13Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。