Fugu-MT 論文翻訳(概要): Deep Unsupervised Learning Using Spike-Timing-Dependent Plasticity

論文の概要: Deep Unsupervised Learning Using Spike-Timing-Dependent Plasticity

arxiv url: http://arxiv.org/abs/2307.04054v1
Date: Sat, 8 Jul 2023 22:21:23 GMT
ステータス: 処理完了
システム内更新日: 2023-07-11 15:49:25.061469
Title: Deep Unsupervised Learning Using Spike-Timing-Dependent Plasticity
Title（参考訳）: スパイクタイミング依存塑性を用いた深層教師なし学習
Authors: Sen Lu, Abhronil Sengupta
Abstract要約: 本研究では,ネットワーク出力のSTDPクラスタリングプロセスによって生成された擬似ラベルを用いて,畳み込みネットワークをタンデムで訓練するDeep-STDPフレームワークについて検討する。 Tiny ImageNetデータセットの10クラスのサブセット上で,アイソ精度でより高速な収束速度を実現する。
参考スコア（独自算出の注目度）: 1.329054857829016
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Spike-Timing-Dependent Plasticity (STDP) is an unsupervised learning mechanism for Spiking Neural Networks (SNNs) that has received significant attention from the neuromorphic hardware community. However, scaling such local learning techniques to deeper networks and large-scale tasks has remained elusive. In this work, we investigate a Deep-STDP framework where a convolutional network is trained in tandem with pseudo-labels generated by the STDP clustering process on the network outputs. We achieve $24.56\%$ higher accuracy and $3.5\times$ faster convergence speed at iso-accuracy on a 10-class subset of the Tiny ImageNet dataset in contrast to a $k$-means clustering approach.
Abstract（参考訳）: Spike-Timing-Dependent Plasticity (STDP)は、スパイキングニューラルネットワーク(SNN)の教師なし学習メカニズムであり、ニューロモルフィックハードウェアコミュニティから大きな注目を集めている。しかし、そのようなローカル学習技術をより深いネットワークや大規模タスクに拡張することは、いまだに不可能である。本研究では,ネットワーク出力のSTDPクラスタリングプロセスによって生成された擬似ラベルを用いて,畳み込みネットワークをタンデムで訓練するDeep-STDPフレームワークについて検討する。私たちは、$k$-meansクラスタリングアプローチとは対照的に、Tiny ImageNetデータセットの10クラスのサブセットで、より高速なコンバージェンス速度を同精度で達成します。

関連論文リスト

FedMSE: Federated learning for IoT network intrusion detection [0.0]
IoTの台頭によりサイバー攻撃面が拡大し、データ可用性、計算リソース、転送コスト、特にプライバシ保護に関する懸念から、従来の集中型機械学習手法が不十分になった。 Shrink AutoencoderとCentroid One-class Classifier(SAE-CEN)を組み合わせた半教師付きフェデレーション学習モデルを開発した。このアプローチは,通常のネットワークデータを効果的に表現し,分散戦略における異常を正確に識別することにより侵入検知性能を向上させる。
論文参考訳（メタデータ） (2024-10-18T02:23:57Z)
Accelerating Deep Neural Networks via Semi-Structured Activation Sparsity [0.0]
ネットワークの機能マップにスパシティを爆発させることは、推論のレイテンシを低減する方法の1つです。そこで本研究では,セミ構造化されたアクティベーション空間を小さなランタイム修正によって活用する手法を提案する。当社のアプローチでは,ImageNetデータセット上のResNet18モデルに対して,最小精度が1.1%の1.25倍の速度向上を実現している。
論文参考訳（メタデータ） (2023-09-12T22:28:53Z)
How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文参考訳（メタデータ） (2023-06-04T08:53:27Z)
Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文参考訳（メタデータ） (2022-10-10T10:05:00Z)
Effective Self-supervised Pre-training on Low-compute Networks without Distillation [6.530011859253459]
報告された自己教師型学習のパフォーマンスは、標準的な教師付き事前学習よりも大きなマージンで遅れている。以前の作業のほとんどは、低スループットネットワークのキャパシティボトルネックによるパフォーマンスの低下を理由としている。我々は、現実的な制約の原因となる有害要因と、それらが自己監督型低コンプット設定に固有のものであるかどうかについて、より詳しく検討する。
論文参考訳（メタデータ） (2022-10-06T10:38:07Z)
An STDP-Based Supervised Learning Algorithm for Spiking Neural Networks [20.309112286222238]
Spiking Neural Networks (SNN)は、より生物学的に可能な脳モデルを提供する。本稿では,Leaky Integrate-and-fire ニューロンからなる階層型 SNN に対して,Spike-Timing Dependent Plasticity (STDP) に基づく教師付き学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-03-07T13:40:09Z)
Navigating Local Minima in Quantized Spiking Neural Networks [3.1351527202068445]
深層学習(DL)アルゴリズムの超効率的な実装においては,スパイキングと量子ニューラルネットワーク(NN)が極めて重要になっている。これらのネットワークは、ハードしきい値を適用する際の勾配信号の欠如により、エラーのバックプロパゲーションを使用してトレーニングする際の課題に直面している。本稿では,コサインアニールLRスケジュールと重み非依存適応モーメント推定を併用したシステム評価を行った。
論文参考訳（メタデータ） (2022-02-15T06:42:25Z)
Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文参考訳（メタデータ） (2021-02-03T09:30:45Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文参考訳（メタデータ） (2020-03-26T11:13:07Z)
Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。