論文の概要: Improving Spiking Neural Network Accuracy Using Time-based Neurons

• arxiv url: http://arxiv.org/abs/2201.01394v2
• Date: Wed, 2 Mar 2022 07:56:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-02 05:49:12.858312
• Title: Improving Spiking Neural Network Accuracy Using Time-based Neurons
• Title（参考訳）: 時間軸ニューロンを用いたスパイクニューラルネットワークの精度向上
• Authors: Hanseok Kim, Woo-Seok Choi
• Abstract要約: アナログニューロンを用いた低消費電力スパイクニューラルネットワークに基づくニューロモルフィックコンピューティングシステムの研究が注目されている。 技術のスケールダウンに伴い、アナログニューロンはスケールが難しく、電圧ヘッドルーム/ダイナミックレンジの減少と回路の非線形性に悩まされる。 本稿では,28nmプロセスで設計した既存の電流ミラー型電圧ドメインニューロンの非線形挙動をモデル化し,ニューロンの非線形性の影響によりSNN推定精度を著しく劣化させることができることを示す。 本稿では,時間領域のスパイクを処理し,線形性を大幅に向上させる新しいニューロンを提案する。
• 参考スコア（独自算出の注目度）: 0.24366811507669117
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the fundamental limit to reducing power consumption of running deep learning models on von-Neumann architecture, research on neuromorphic computing systems based on low-power spiking neural networks using analog neurons is in the spotlight. In order to integrate a large number of neurons, neurons need to be designed to occupy a small area, but as technology scales down, analog neurons are difficult to scale, and they suffer from reduced voltage headroom/dynamic range and circuit nonlinearities. In light of this, this paper first models the nonlinear behavior of existing current-mirror-based voltage-domain neurons designed in a 28nm process, and show SNN inference accuracy can be severely degraded by the effect of neuron's nonlinearity. Then, to mitigate this problem, we propose a novel neuron, which processes incoming spikes in the time domain and greatly improves the linearity, thereby improving the inference accuracy compared to the existing voltage-domain neuron. Tested on the MNIST dataset, the inference error rate of the proposed neuron differs by less than 0.1% from that of the ideal neuron.
• Abstract（参考訳）: von-Neumannアーキテクチャ上でのディープラーニングモデル実行の電力消費の基本的な制限のため、アナログニューロンを用いた低消費電力スパイクニューラルネットワークに基づくニューロモルフィックコンピューティングシステムの研究が注目されている。 多数のニューロンを統合するために、ニューロンは小さな領域を占めるように設計する必要があるが、技術が縮小するにつれてアナログニューロンはスケールが難しくなり、電圧ヘッドルーム/ダイナミックレンジと回路非線形性が低下する。 そこで本研究では,28nmプロセスで設計した電流ミラー型電圧ドメインニューロンの非線形挙動を最初にモデル化し,ニューロンの非線形性の影響によりsnn推定精度が著しく低下することを示す。 そこで,この問題を緩和するために,時間領域のスパイクを処理し,線形性を大幅に向上させる新しいニューロンを提案し,既存の電圧領域ニューロンと比較して推論精度を向上する。 mnistデータセットでテストしたところ、提案されたニューロンの推論誤差率は理想ニューロンのそれと0.1%未満の違いがある。

関連論文リスト

• Gated Parametric Neuron for Spike-based Audio Recognition [26.124844943674407]
  スパイキングニューラルネットワーク(SNN)は、生物学的に可塑性ニューロンを持つヒト脳内の実際のニューラルネットワークをシミュレートすることを目的としている。 本稿では,ゲーティング機構を用いて時間的情報を効率的に処理するための漏れパラメトリックニューロン(GPN)を提案する。
  論文  参考訳（メタデータ） (2024-12-02T03:46:26Z)
• To Spike or Not to Spike, that is the Question [0.45609532372046985]
  SNNは生物学的ニューロンの時間的ダイナミクスをエミュレートし、リアルタイムのイベント駆動処理に適している。 SNNでは、学習規則はニューロンのスパイク行動に基づいており、ニューロンのスパイク閾値を超える膜電位によってスパイクが生じる場合である。 本研究は、SNNにおける重みとともに、ニューロン学習閾値の重要性に焦点を当てる。
  論文  参考訳（メタデータ） (2024-07-28T19:23:09Z)
• Mitigating Communication Costs in Neural Networks: The Role of Dendritic Nonlinearity [28.243134476634125]
  本研究では,ニューラルネットワークにおける非線形デンドライトの重要性について検討した。 その結果,樹状構造の統合はモデル容量と性能を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-06-21T00:28:20Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Constraints on the design of neuromorphic circuits set by the properties of neural population codes [61.15277741147157]
  脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。 ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
  論文  参考訳（メタデータ） (2022-12-08T15:16:04Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Energy-Efficient High-Accuracy Spiking Neural Network Inference Using Time-Domain Neurons [0.18352113484137625]
  本稿では低出力高線形時間領域I&Fニューロン回路を提案する。 提案されたニューロンは、MNIST推論において4.3倍のエラー率をもたらす。 提案したニューロン回路で消費される電力は1ニューロンあたり0.230uWとシミュレートされ、これは既存の電圧領域ニューロンよりも桁違いに低い。
  論文  参考訳（メタデータ） (2022-02-04T08:24:03Z)
• POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
  2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。 提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
  論文  参考訳（メタデータ） (2022-01-19T09:26:34Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• SeReNe: Sensitivity based Regularization of Neurons for Structured Sparsity in Neural Networks [13.60023740064471]
  SeReNeはスパーストポロジを構造で学習する方法である。 ニューロンの感度をネットワーク出力の変動として定義する。 コスト関数のニューロン感度を正規化用語に含めることで、低感度でニューロンをプーンすることができる。
  論文  参考訳（メタデータ） (2021-02-07T10:53:30Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。