論文の概要: Developmental Plasticity-inspired Adaptive Pruning for Deep Spiking and
Artificial Neural Networks
- arxiv url: http://arxiv.org/abs/2211.12714v1
- Date: Wed, 23 Nov 2022 05:26:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 13:46:40.407198
- Title: Developmental Plasticity-inspired Adaptive Pruning for Deep Spiking and
Artificial Neural Networks
- Title(参考訳): 深層スパイクとニューラルネットワークのための塑性インスパイア適応プルーニングの開発
- Authors: Bing Han, Feifei Zhao, Yi Zeng, Guobin Shen
- Abstract要約: 発達的可塑性は、継続的な学習中に脳の構造を形成する上で重要な役割を担っている。
ディープ人工知能ニューラルネットワーク(ANN)とスパイクニューラルネットワーク(SNN)の既存のネットワーク圧縮方法は、脳の発達する可塑性機構からほとんどインスピレーションを受けない。
本稿では, 樹状突起, シナプス, ニューロンの適応的発達的プルーニングからインスピレーションを得て, 塑性刺激による適応的プルーニング(DPAP)法を提案する。
- 参考スコア(独自算出の注目度): 7.000088703181348
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Developmental plasticity plays a vital role in shaping the brain's structure
during ongoing learning in response to the dynamically changing environments.
However, the existing network compression methods for deep artificial neural
networks (ANNs) and spiking neural networks (SNNs) draw little inspiration from
the brain's developmental plasticity mechanisms, thus limiting their ability to
learn efficiently, rapidly, and accurately. This paper proposed a developmental
plasticity-inspired adaptive pruning (DPAP) method, with inspiration from the
adaptive developmental pruning of dendritic spines, synapses, and neurons
according to the "use it or lose it, gradually decay" principle. The proposed
DPAP model considers multiple biologically realistic mechanisms (such as
dendritic spine dynamic plasticity, activity-dependent neural spiking trace,
local synaptic plasticity), with the addition of an adaptive pruning strategy,
so that the network structure can be dynamically optimized during learning
without any pre-training and retraining. We demonstrated that the proposed DPAP
method applied to deep ANNs and SNNs could learn efficient network
architectures that retain only relevant important connections and neurons.
Extensive comparative experiments show consistent and remarkable performance
and speed boost with the extremely compressed networks on a diverse set of
benchmark tasks, especially neuromorphic datasets for SNNs. This work explores
how developmental plasticity enables the complex deep networks to gradually
evolve into brain-like efficient and compact structures, eventually achieving
state-of-the-art (SOTA) performance for biologically realistic SNNs.
- Abstract(参考訳): 発達的可塑性は、動的に変化する環境に反応して学習中の脳の構造を形成する上で重要な役割を担っている。
しかし、ディープ人工知能ニューラルネットワーク(ANN)とスパイクニューラルネットワーク(SNN)の既存のネットワーク圧縮手法は、脳の発達的可塑性機構からほとんどインスピレーションを受けず、効率的に、迅速に、正確に学習する能力を制限する。
本稿では, 樹状突起, シナプス, ニューロンの適応的発達的プルーニングから着想を得て, 塑性刺激による適応的プルーニング(DPAP)法を提案する。
提案するDPAPモデルでは,適応的プルーニング戦略を付加して,複数の生物学的に現実的な機構(樹状突起動的塑性,活動依存神経スパイキングトレース,局所シナプス可塑性など)を考察し,事前学習や再訓練をせずにネットワーク構造を動的に最適化することができる。
提案手法が深部ANNやSNNに適用され,重要な接続やニューロンのみを保持する効率的なネットワークアーキテクチャを学習できることを実証した。
大規模な比較実験は、様々なベンチマークタスク、特にSNNのニューロモーフィックデータセットにおいて、非常に圧縮されたネットワークにおいて、一貫したパフォーマンスとスピードの向上を示す。
この研究は、発達的可塑性によって複雑な深層ネットワークが徐々に脳のような効率的でコンパクトな構造へと進化し、最終的には生物学的に現実的なSNNのための最先端(SOTA)のパフォーマンスを達成する方法を探る。
関連論文リスト
- Single Neuromorphic Memristor closely Emulates Multiple Synaptic
Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。
これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文 参考訳(メタデータ) (2024-02-26T15:01:54Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳(メタデータ) (2023-10-25T13:15:17Z) - Brain-inspired Evolutionary Architectures for Spiking Neural Networks [6.607406750195899]
スパイキングニューラルネットワーク(SNN)の効率的なアーキテクチャ最適化について検討する。
本稿では,脳にインスパイアされた局所モジュール構造とグローバルモジュール接続を取り入れたSNNアーキテクチャを進化させる。
本稿では,高性能,効率,消費電力の少ないSNNを用いた,数ショット性能予測器に基づく効率的な多目的進化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-09-11T06:39:11Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - Biologically inspired structure learning with reverse knowledge
distillation for spiking neural networks [19.33517163587031]
スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性から感覚情報認識タスクにおいて非常に優れた特徴を持つ。
現在のスパイクベースのモデルの性能は、完全に接続された構造か深すぎる構造かによって制限されている。
本稿では,より合理的なSNNを構築するための進化的構造構築法を提案する。
論文 参考訳(メタデータ) (2023-04-19T08:41:17Z) - Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of
Spiking Neural Systems [73.18020682258606]
我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。
コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。
いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - A Synapse-Threshold Synergistic Learning Approach for Spiking Neural
Networks [1.8556712517882232]
スパイキングニューラルネットワーク(SNN)は、さまざまなインテリジェントなシナリオにおいて優れた機能を示している。
本研究では,SNNにおけるシナプス重みとスパイク閾値を同時に学習する新しいシナジー学習手法を開発する。
論文 参考訳(メタデータ) (2022-06-10T06:41:36Z) - Towards efficient end-to-end speech recognition with
biologically-inspired neural networks [10.457580011403289]
軸-体性および軸-体性シナプスを模擬した神経接続概念を導入する。
我々は,大規模ASRモデルの生物学的に現実的な実装によって,競争性能が向上できることを初めて実証した。
論文 参考訳(メタデータ) (2021-10-04T21:24:10Z) - Learning in Deep Neural Networks Using a Biologically Inspired Optimizer [5.144809478361604]
人工神経(ANN)とスパイクニューラルネット(SNN)にインスパイアされた新しい生物モデルを提案する。
GRAPESは、ニューラルネットワークの各ノードにおけるエラー信号の重量分布依存変調を実装している。
生物学的にインスパイアされたこのメカニズムは,ネットワークの収束率を体系的に改善し,ANNやSNNの分類精度を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2021-04-23T13:50:30Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳(メタデータ) (2020-05-05T14:16:54Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。