論文の概要: Similarity-based context aware continual learning for spiking neural networks
- arxiv url: http://arxiv.org/abs/2411.05802v1
- Date: Mon, 28 Oct 2024 09:38:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-17 09:02:21.453812
- Title: Similarity-based context aware continual learning for spiking neural networks
- Title（参考訳）: 類似性に基づくスパイクニューラルネットワークの連続学習
- Authors: Bing Han, Feifei Zhao, Yang Li, Qingqun Kong, Xianqi Li, Yi Zeng,
- Abstract要約: 類似性に基づくSCA-SNN(Context Aware Spiking Neural Network)連続学習アルゴリズムを提案する。
SCA-SNNモデルは、タスク間のコンテキスト的類似性に基づいて、新しいタスクに有益な以前のタスクからニューロンを適応的に再利用することができる。
提案アルゴリズムは,ニューロン群を適応的に選択し,効率的な連続学習の生物学的解釈性を高めるための有望なアプローチを提供する。
- 参考スコア（独自算出の注目度）: 12.259720271932661
- License:
- Abstract: Biological brains have the capability to adaptively coordinate relevant neuronal populations based on the task context to learn continuously changing tasks in real-world environments. However, existing spiking neural network-based continual learning algorithms treat each task equally, ignoring the guiding role of different task similarity associations for network learning, which limits knowledge utilization efficiency. Inspired by the context-dependent plasticity mechanism of the brain, we propose a Similarity-based Context Aware Spiking Neural Network (SCA-SNN) continual learning algorithm to efficiently accomplish task incremental learning and class incremental learning. Based on contextual similarity across tasks, the SCA-SNN model can adaptively reuse neurons from previous tasks that are beneficial for new tasks (the more similar, the more neurons are reused) and flexibly expand new neurons for the new task (the more similar, the fewer neurons are expanded). Selective reuse and discriminative expansion significantly improve the utilization of previous knowledge and reduce energy consumption. Extensive experimental results on CIFAR100, ImageNet generalized datasets, and FMNIST-MNIST, SVHN-CIFAR100 mixed datasets show that our SCA-SNN model achieves superior performance compared to both SNN-based and DNN-based continual learning algorithms. Additionally, our algorithm has the capability to adaptively select similar groups of neurons for related tasks, offering a promising approach to enhancing the biological interpretability of efficient continual learning.
- Abstract（参考訳）: 生物学的脳は、タスクコンテキストに基づいて関連するニューロン集団を適応的に調整し、現実世界の環境において連続的に変化するタスクを学習する能力を持つ。
しかし、既存のスパイクニューラルネットワークに基づく連続学習アルゴリズムは、知識利用効率を制限しているネットワーク学習において、異なるタスク類似性関連が導く役割を無視し、各タスクを等しく扱う。
脳の文脈依存的可塑性機構に着想を得て,タスクインクリメンタル学習とクラスインクリメンタル学習を効率的に行うための,類似性に基づくコンテキスト意識スパイクニューラルネットワーク(SCA-SNN)連続学習アルゴリズムを提案する。
タスク間のコンテキスト的類似性に基づいて、SCA-SNNモデルは、新しいタスクに有益な以前のタスクからニューロンを適応的に再利用し(より類似すれば多くのニューロンが再利用される)、新しいタスクのために柔軟に新しいニューロンを拡張する(より類似すれば、少ないニューロンが拡張される)。
選択的な再利用と差別的拡張は、以前の知識の利用を著しく改善し、エネルギー消費を減らす。
CIFAR100, ImageNet 一般化データセット, FMNIST-MNIST, SVHN-CIFAR100混合データセットの大規模な実験結果から, SNN ベースおよび DNN ベースの連続学習アルゴリズムと比較して,SCA-SNN モデルの方が優れた性能を示した。
さらに,本アルゴリズムは,協調学習の生物学的解釈性を高めるための有望なアプローチとして,類似したニューロン群を適応的に選択する能力を有する。
関連論文リスト
- Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。
提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。
提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文 参考訳（メタデータ） (2024-07-05T14:11:28Z) - Context Gating in Spiking Neural Networks: Achieving Lifelong Learning through Integration of Local and Global Plasticity [20.589970453110208]
ヒトは前頭前皮質(PFC)の文脈ゲーティング機構を通じて、最小の相互干渉で連続して複数のタスクを学習する
本研究では,生涯学習のための局所可塑性規則(CG-SNN)によって訓練された文脈ゲーティングを用いたSNNを提案する。
実験により,提案モデルは過去の学習経験を維持する上で有効であり,生涯学習における他の方法よりも優れたタスク選択性を有することが示された。
論文 参考訳（メタデータ） (2024-06-04T01:35:35Z) - Adaptive Reorganization of Neural Pathways for Continual Learning with Spiking Neural Networks [9.889775504641925]
神経経路を適応的に再編成する脳にインスパイアされた連続学習アルゴリズムを提案する。
提案モデルでは,様々な連続学習タスクにおいて,性能,エネルギー消費,メモリ容量が一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-09-18T07:56:40Z) - Enhancing Efficient Continual Learning with Dynamic Structure
Development of Spiking Neural Networks [6.407825206595442]
子どもは複数の認知タスクを逐次学習する能力を持っている。
既存の連続学習フレームワークは通常、ディープニューラルネットワーク(DNN)に適用できる。
本研究では,効率的な適応型連続学習のためのスパイキングニューラルネットワーク(DSD-SNN)の動的構造開発を提案する。
論文 参考訳（メタデータ） (2023-08-09T07:36:40Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。
本稿では,関係データに対するKENNの拡張を提案する。
論文 参考訳（メタデータ） (2022-05-31T13:00:34Z) - Multi-Task Neural Processes [105.22406384964144]
我々はマルチタスク学習のためのニューラル・プロセスの新たな変種であるマルチタスク・ニューラル・プロセスを開発する。
特に,各タスク改善のための帰納的バイアスを提供するために,関数空間内の関連するタスクから伝達可能な知識を探索することを提案する。
その結果、マルチタスク学習におけるタスク間の有用な知識の伝達におけるマルチタスクニューラルプロセスの有効性が示された。
論文 参考訳（メタデータ） (2021-11-10T17:27:46Z) - Exploiting Heterogeneity in Operational Neural Networks by Synaptic
Plasticity [87.32169414230822]
最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。
本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。
高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
論文 参考訳（メタデータ） (2020-08-21T19:03:23Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Effective and Efficient Computation with Multiple-timescale Spiking
Recurrent Neural Networks [0.9790524827475205]
本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。
我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
論文 参考訳（メタデータ） (2020-05-24T01:04:53Z) - Exploring weight initialization, diversity of solutions, and degradation
in recurrent neural networks trained for temporal and decision-making tasks [0.0]
リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は、脳機能と構造をモデル化するために頻繁に使用される。
本研究では,時間変化刺激による時間・流れ制御タスクを行うために,小型完全接続型RNNを訓練した。
論文 参考訳（メタデータ） (2019-06-03T21:56:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。