論文の概要: Enhancing Efficient Continual Learning with Dynamic Structure
Development of Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2308.04749v1
- Date: Wed, 9 Aug 2023 07:36:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-10 14:54:02.459231
- Title: Enhancing Efficient Continual Learning with Dynamic Structure
Development of Spiking Neural Networks
- Title（参考訳）: スパイクニューラルネットワークの動的構造開発による連続学習の効率化
- Authors: Bing Han, Feifei Zhao, Yi Zeng, Wenxuan Pan, Guobin Shen
- Abstract要約: 子どもは複数の認知タスクを逐次学習する能力を持っている。
既存の連続学習フレームワークは通常、ディープニューラルネットワーク(DNN)に適用できる。
本研究では,効率的な適応型連続学習のためのスパイキングニューラルネットワーク(DSD-SNN)の動的構造開発を提案する。
- 参考スコア（独自算出の注目度）: 6.407825206595442
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Children possess the ability to learn multiple cognitive tasks sequentially,
which is a major challenge toward the long-term goal of artificial general
intelligence. Existing continual learning frameworks are usually applicable to
Deep Neural Networks (DNNs) and lack the exploration on more brain-inspired,
energy-efficient Spiking Neural Networks (SNNs). Drawing on continual learning
mechanisms during child growth and development, we propose Dynamic Structure
Development of Spiking Neural Networks (DSD-SNN) for efficient and adaptive
continual learning. When learning a sequence of tasks, the DSD-SNN dynamically
assigns and grows new neurons to new tasks and prunes redundant neurons,
thereby increasing memory capacity and reducing computational overhead. In
addition, the overlapping shared structure helps to quickly leverage all
acquired knowledge to new tasks, empowering a single network capable of
supporting multiple incremental tasks (without the separate sub-network mask
for each task). We validate the effectiveness of the proposed model on multiple
class incremental learning and task incremental learning benchmarks. Extensive
experiments demonstrated that our model could significantly improve
performance, learning speed and memory capacity, and reduce computational
overhead. Besides, our DSD-SNN model achieves comparable performance with the
DNNs-based methods, and significantly outperforms the state-of-the-art (SOTA)
performance for existing SNNs-based continual learning methods.
- Abstract（参考訳）: 子どもたちは、複数の認知タスクを逐次学習する能力を持っているため、人工知能の長期的な目標に対する大きな課題である。
既存の連続学習フレームワークは通常、ディープニューラルネットワーク(DNN)に適用され、より脳にインスパイアされたエネルギー効率の高いスパイクニューラルネットワーク(SNN)の探索が欠如している。
本研究では,子どもの成長・発達過程における連続学習機構を基礎として,スパイキングニューラルネットワーク(DSD-SNN)の動的構造開発を提案する。
一連のタスクを学習すると、dsd-snnは動的に新しいニューロンを新しいタスクに割り当てて成長させ、冗長なニューロンを刺激し、メモリ容量を増加させ、計算オーバーヘッドを減少させる。
さらに、重複する共有構造は、獲得したすべての知識を新しいタスクに迅速に活用し、複数のインクリメンタルタスクをサポートすることのできる単一のネットワークを(タスクごとに個別のサブネットワークマスクを使わずに)強化する。
提案モデルの有効性を,複数のクラスインクリメンタル学習とタスクインクリメンタル学習ベンチマークで検証した。
大規模な実験により、我々のモデルは性能、学習速度、メモリ容量を大幅に改善し、計算オーバーヘッドを低減できることを示した。
さらに,我々のDSD-SNNモデルは,DNNに基づく手法と同等の性能を達成し,既存のSNNに基づく連続学習手法のSOTA(State-of-the-art)性能を著しく向上させる。
関連論文リスト
- Similarity-based context aware continual learning for spiking neural networks [12.259720271932661]
類似性に基づくSCA-SNN(Context Aware Spiking Neural Network)連続学習アルゴリズムを提案する。
SCA-SNNモデルは、タスク間のコンテキスト的類似性に基づいて、新しいタスクに有益な以前のタスクからニューロンを適応的に再利用することができる。
提案アルゴリズムは,ニューロン群を適応的に選択し,効率的な連続学習の生物学的解釈性を高めるための有望なアプローチを提供する。
論文 参考訳（メタデータ） (2024-10-28T09:38:57Z) - Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。
提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。
提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文 参考訳（メタデータ） (2024-07-05T14:11:28Z) - Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳（メタデータ） (2024-06-14T13:12:07Z) - Context Gating in Spiking Neural Networks: Achieving Lifelong Learning through Integration of Local and Global Plasticity [20.589970453110208]
ヒトは前頭前皮質(PFC)の文脈ゲーティング機構を通じて、最小の相互干渉で連続して複数のタスクを学習する
本研究では,生涯学習のための局所可塑性規則(CG-SNN)によって訓練された文脈ゲーティングを用いたSNNを提案する。
実験により,提案モデルは過去の学習経験を維持する上で有効であり,生涯学習における他の方法よりも優れたタスク選択性を有することが示された。
論文 参考訳（メタデータ） (2024-06-04T01:35:35Z) - Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳（メタデータ） (2024-01-09T07:31:34Z) - Curriculum Design Helps Spiking Neural Networks to Classify Time Series [16.402675046686834]
スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)よりも時系列データをモデル化する可能性が大きい
この研究において、脳にインスパイアされた科学によって啓蒙され、構造だけでなく学習過程も人間に似ていなければならないことが判明した。
論文 参考訳（メタデータ） (2023-12-26T02:04:53Z) - Adaptive Reorganization of Neural Pathways for Continual Learning with Spiking Neural Networks [9.889775504641925]
神経経路を適応的に再編成する脳にインスパイアされた連続学習アルゴリズムを提案する。
提案モデルでは,様々な連続学習タスクにおいて,性能,エネルギー消費,メモリ容量が一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-09-18T07:56:40Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳（メタデータ） (2020-06-29T08:35:49Z) - Exploring weight initialization, diversity of solutions, and degradation
in recurrent neural networks trained for temporal and decision-making tasks [0.0]
リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は、脳機能と構造をモデル化するために頻繁に使用される。
本研究では,時間変化刺激による時間・流れ制御タスクを行うために,小型完全接続型RNNを訓練した。
論文 参考訳（メタデータ） (2019-06-03T21:56:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。