論文の概要: Developmental Plasticity-inspired Adaptive Pruning for Deep Spiking and Artificial Neural Networks
- arxiv url: http://arxiv.org/abs/2211.12714v3
- Date: Mon, 28 Oct 2024 09:15:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-29 12:19:10.648376
- Title: Developmental Plasticity-inspired Adaptive Pruning for Deep Spiking and Artificial Neural Networks
- Title（参考訳）: 深部スパイクと人工ニューラルネットワークのための塑性に着想を得た適応型プルーニング
- Authors: Bing Han, Feifei Zhao, Yi Zeng, Guobin Shen,
- Abstract要約: 発達的可塑性は、継続的な学習中に脳の構造を形成する際に顕著な役割を果たす。
ディープ人工知能ニューラルネットワーク(ANN)とスパイクニューラルネットワーク(SNN)の既存のネットワーク圧縮方法は、脳の発達する可塑性機構からほとんどインスピレーションを受けない。
本稿では, 樹状突起, シナプス, ニューロンの適応的発達的プルーニングからインスピレーションを得て, 塑性刺激による適応的プルーニング(DPAP)法を提案する。
- 参考スコア（独自算出の注目度）: 11.730984231143108
- License:
- Abstract: Developmental plasticity plays a prominent role in shaping the brain's structure during ongoing learning in response to dynamically changing environments. However, the existing network compression methods for deep artificial neural networks (ANNs) and spiking neural networks (SNNs) draw little inspiration from brain's developmental plasticity mechanisms, thus limiting their ability to learn efficiently, rapidly, and accurately. This paper proposed a developmental plasticity-inspired adaptive pruning (DPAP) method, with inspiration from the adaptive developmental pruning of dendritic spines, synapses, and neurons according to the ``use it or lose it, gradually decay" principle. The proposed DPAP model considers multiple biologically realistic mechanisms (such as dendritic spine dynamic plasticity, activity-dependent neural spiking trace, and local synaptic plasticity), with additional adaptive pruning strategy, so that the network structure can be dynamically optimized during learning without any pre-training and retraining. Extensive comparative experiments show consistent and remarkable performance and speed boost with the extremely compressed networks on a diverse set of benchmark tasks for deep ANNs and SNNs, especially the spatio-temporal joint pruning of SNNs in neuromorphic datasets. This work explores how developmental plasticity enables complex deep networks to gradually evolve into brain-like efficient and compact structures, eventually achieving state-of-the-art (SOTA) performance for biologically realistic SNNs.
- Abstract（参考訳）: 発達的可塑性は、動的に変化する環境に応じて、継続的な学習中に脳の構造を形成する際、顕著な役割を担っている。
しかし、ディープ人工知能ニューラルネットワーク(ANN)とスパイクニューラルネットワーク(SNN)の既存のネットワーク圧縮手法は、脳の発達的可塑性機構からほとんどインスピレーションを受けず、効率的に、迅速に、正確に学習する能力を制限する。
本稿では, 樹状突起, シナプス, ニューロンの適応的発達的プルーニングからインスピレーションを得て, 塑性刺激による適応的プルーニング(DPAP)法を提案する。
提案したDPAPモデルは,複数の生物学的に現実的な機構(樹状突起の動的可塑性,活動依存神経スパイクトレース,局所シナプスの可塑性など)を考慮し,適応的プルーニング戦略を付加することにより,事前学習や再訓練をせずにネットワーク構造を動的に最適化することができる。
広汎な比較実験は、高度に圧縮されたネットワークにおいて、深層ANNとSNNの様々なベンチマークタスク、特にニューロモルフィックデータセットにおけるSNNの時空間的共同プルーニングにおいて、一貫した性能と速度の向上を示す。
この研究は、発達的可塑性によって複雑な深層ネットワークが徐々に脳のような効率的でコンパクトな構造へと進化し、最終的には生物学的に現実的なSNNのための最先端(SOTA)のパフォーマンスを達成する方法を探る。
関連論文リスト
- Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。
提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。
提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文 参考訳（メタデータ） (2024-07-05T14:11:28Z) - Evolving Self-Assembling Neural Networks: From Spontaneous Activity to Experience-Dependent Learning [7.479827648985631]
本稿では, 自己組織型ニューラルネットワークを, 活動と報酬に依存した方法でシナプス的, 構造的可塑性のクラスとして提案する。
その結果、ランダムに接続されたネットワークや空きネットワークから、異なる制御タスクの経験からモデルが学習できることが示されている。
論文 参考訳（メタデータ） (2024-06-14T07:36:21Z) - Single Neuromorphic Memristor closely Emulates Multiple Synaptic
Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。
これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文 参考訳（メタデータ） (2024-02-26T15:01:54Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳（メタデータ） (2023-10-25T13:15:17Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - MAP-SNN: Mapping Spike Activities with Multiplicity, Adaptability, and
Plasticity into Bio-Plausible Spiking Neural Networks [4.806663076114504]
スパイキングニューラルネットワーク(SNN)は、人間の脳の基本的なメカニズムを模倣しているため、生物学的に現実的で電力効率が高いと考えられている。
スパイク活動のモデル化における3つの特性について考察する:多重性、適応性、塑性(MAP)
提案したSNNモデルはニューロモルフィックデータセット(N-MNISTとSHD)上での競合性能を実現する。
論文 参考訳（メタデータ） (2022-04-21T05:36:11Z) - Towards efficient end-to-end speech recognition with
biologically-inspired neural networks [10.457580011403289]
軸-体性および軸-体性シナプスを模擬した神経接続概念を導入する。
我々は,大規模ASRモデルの生物学的に現実的な実装によって,競争性能が向上できることを初めて実証した。
論文 参考訳（メタデータ） (2021-10-04T21:24:10Z) - Learning in Deep Neural Networks Using a Biologically Inspired Optimizer [5.144809478361604]
人工神経(ANN)とスパイクニューラルネット(SNN)にインスパイアされた新しい生物モデルを提案する。
GRAPESは、ニューラルネットワークの各ノードにおけるエラー信号の重量分布依存変調を実装している。
生物学的にインスパイアされたこのメカニズムは,ネットワークの収束率を体系的に改善し,ANNやSNNの分類精度を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2021-04-23T13:50:30Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。