論文の概要: A Microarchitecture Implementation Framework for Online Learning with Temporal Neural Networks

• arxiv url: http://arxiv.org/abs/2105.13262v1
• Date: Thu, 27 May 2021 15:59:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-28 15:57:45.933431
• Title: A Microarchitecture Implementation Framework for Online Learning with Temporal Neural Networks
• Title（参考訳）: 時間的ニューラルネットワークを用いたオンライン学習のためのマイクロアーキテクチャ実装フレームワーク
• Authors: Harideep Nair, John Paul Shen and James E. Smith
• Abstract要約: 時間的ニューラルネットワーク(TNN)は、情報を表現し処理するためのリソースとして時間を使用するニューラルネットワークをスパイクしている。 本研究では,標準CMOSを用いたTNN実装のためのマイクロアーキテクチャフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 1.4530235554268331
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Temporal Neural Networks (TNNs) are spiking neural networks that use time as a resource to represent and process information, similar to the mammalian neocortex. In contrast to compute-intensive Deep Neural Networks that employ separate training and inference phases, TNNs are capable of extremely efficient online incremental/continuous learning and are excellent candidates for building edge-native sensory processing units. This work proposes a microarchitecture framework for implementing TNNs using standard CMOS. Gate-level implementations of three key building blocks are presented: 1) multi-synapse neurons, 2) multi-neuron columns, and 3) unsupervised and supervised online learning algorithms based on Spike Timing Dependent Plasticity (STDP). The TNN microarchitecture is embodied in a set of characteristic scaling equations for assessing the gate count, area, delay and power consumption for any TNN design. Post-synthesis results (in 45nm CMOS) for the proposed designs are presented, and their online incremental learning capability is demonstrated.
• Abstract（参考訳）: TNN(Temporal Neural Networks)は、哺乳類の新皮質と同様、時間を使って情報を表現し、処理するニューラルネットワークである。 異なるトレーニングと推論フェーズを使用する計算集約型ディープニューラルネットワークとは対照的に、TNNはオンラインインクリメンタル/連続学習を極めて効率的に行うことができ、エッジネイティブな知覚処理ユニットを構築するための優れた候補である。 本研究では,標準CMOSを用いたTNN実装のためのマイクロアーキテクチャフレームワークを提案する。 1)マルチシナプスニューロン、2)マルチニューロンカラム、3)スパイクタイミング依存可塑性(stdp)に基づく教師なし・教師なしオンライン学習アルゴリズムである。 TNNマイクロアーキテクチャは、TNN設計におけるゲート数、面積、遅延および消費電力を評価するための一連の特徴的なスケーリング方程式に具体化されている。 提案した設計に対する後合成結果(45nm CMOS)を提示し,そのオンラインインクリメンタル学習能力を示す。

関連論文リスト

• Neuromorphic analog circuits for robust on-chip always-on learning in spiking neural networks [1.9809266426888898]
  混合信号ニューロモルフィックシステムは、極端コンピューティングタスクを解決するための有望なソリューションである。 彼らのスパイクニューラルネットワーク回路は、連続的にセンサーデータをオンラインに処理するために最適化されている。 我々は,短期的アナログ力学と長期的三状態離散化機構を備えたオンチップ学習回路を設計する。
  論文  参考訳（メタデータ） (2023-07-12T11:14:25Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Mining the Weights Knowledge for Optimizing Neural Network Structures [1.995792341399967]
  タスク固有のニューラルネットワーク(略してTNN)の重みを入力として使用するスイッチャーニューラルネットワーク(SNN)を導入する。 重みに含まれる知識をマイニングすることで、SNNはTNNのニューロンをオフにするスケーリング因子を出力する。 精度の面では,ベースラインネットワークやその他の構造学習手法を安定的に,かつ著しく上回っている。
  論文  参考訳（メタデータ） (2021-10-11T05:20:56Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• A Temporal Neural Network Architecture for Online Learning [0.6091702876917281]
  時間的ニューラルネットワーク(TNN)は、相対スパイク時間として符号化された情報を通信し、処理する。 TNNアーキテクチャを提案し、概念実証として、オンライン教師付き分類のより大きな文脈でTNNの動作を示す。
  論文  参考訳（メタデータ） (2020-11-27T17:15:29Z)
• On-Chip Error-triggered Learning of Multi-layer Memristive Spiking Neural Networks [1.7958576850695402]
  オンライン3次重み更新を用いた局所的,勾配に基づく,エラートリガー付き学習アルゴリズムを提案する。 提案アルゴリズムは,多層SNNを記憶型ニューロモルフィックハードウェアでオンライントレーニングすることを可能にする。
  論文  参考訳（メタデータ） (2020-11-21T19:44:19Z)
• Direct CMOS Implementation of Neuromorphic Temporal Neural Networks for Sensory Processing [4.084672048082021]
  時間的ニューラルネットワーク(TNN)は、哺乳類の新皮質の行動を模倣し、情報を表現し、処理するためのリソースとして時間を使用する。 本研究は,市販のディジタルCMOS技術を用いたTNNの実装に焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-27T20:36:34Z)
• Neural Architecture Search For LF-MMI Trained Time Delay Neural Networks [61.76338096980383]
  TDNN(State-of-the-the-art Factored Time delay Neural Network)の2種類のハイパーパラメータを自動的に学習するために、さまざまなニューラルネットワークサーチ(NAS)技術が使用されている。 DARTSメソッドはアーキテクチャ選択とLF-MMI(格子のないMMI)TDNNトレーニングを統合する。 300時間のSwitchboardコーパスで行われた実験では、自動構成システムはベースラインLF-MMI TDNNシステムより一貫して優れていることが示唆された。
  論文  参考訳（メタデータ） (2020-07-17T08:32:11Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。