論文の概要: Continual Learning with Columnar Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2506.17169v2
- Date: Sat, 16 Aug 2025 04:15:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-19 14:49:10.08457
- Title: Continual Learning with Columnar Spiking Neural Networks
- Title(参考訳): 柱スパイクニューラルネットワークによる連続学習
- Authors: Denis Larionov, Nikolay Bazenkov, Mikhail Kiselev,
- Abstract要約: 本研究では,コラム構造型スパイクニューラルネットワーク(SNN)と局所学習規則を併用した連続学習と破滅的忘れ込みを提案する。
CoLaNET(Columnar Layered Network)を用いて、従来の学習と共有構造が欠如している場合に、マイクロカラムが新しいタスクに最も効率的に適応できることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Continual learning is a key feature of biological neural systems, but artificial neural networks often suffer from catastrophic forgetting. Instead of backpropagation, biologically plausible learning algorithms may enable stable continual learning. This study proposes columnar-organized spiking neural networks (SNNs) with local learning rules for continual learning and catastrophic forgetting. Using CoLaNET (Columnar Layered Network), we show that its microcolumns adapt most efficiently to new tasks when they lack shared structure with prior learning. We demonstrate how CoLaNET hyperparameters govern the trade-off between retaining old knowledge (stability) and acquiring new information (plasticity). We evaluate CoLaNET on two benchmarks: Permuted MNIST (ten sequential pixel-permuted tasks) and a two-task MNIST/EMNIST setup. Our model learns ten sequential tasks effectively, maintaining 92% accuracy on each. It shows low forgetting, with only 4% performance degradation on the first task after training on nine subsequent tasks.
- Abstract(参考訳): 連続学習は生物学的ニューラルネットワークの重要な特徴であるが、人工知能はしばしば破滅的な忘れ物に悩まされる。
バックプロパゲーションの代わりに、生物学的にもっとも有効な学習アルゴリズムは、安定した連続的な学習を可能にする。
本研究では,カラム型スパイクニューラルネットワーク(SNN)と局所学習規則を併用した連続学習と破滅的忘れ込みを提案する。
CoLaNET(Columnar Layered Network)を用いて、従来の学習と共有構造が欠如している場合に、マイクロカラムが新しいタスクに最も効率的に適応できることを示す。
我々は、CoLaNETハイパーパラメータが、古い知識(安定性)の保持と新しい情報(塑性)の獲得の間のトレードオフをいかに支配するかを実証する。
我々はCoLaNETを2つのベンチマークで評価する:permuted MNIST (tequence pixel-permuted task) と two-task MNIST/EMNIST である。
我々のモデルは10つのシーケンシャルなタスクを効果的に学習し、それぞれ92%の精度を維持します。
9つのタスクをトレーニングした後、最初のタスクでは4%のパフォーマンス低下しかなかった。
関連論文リスト
- Learning without Isolation: Pathway Protection for Continual Learning [64.3476595369537]
ディープネットワークは、シーケンシャルなタスク学習中に破滅的な忘れをしがちだ。
モデル融合をグラフマッチングとして定式化する新しいCLフレームワークLwIを提案する。
深層ネットワークにおける活性化チャネルの広がりにより、LwIは新しいタスクのために利用可能な経路を適応的に割り当て、経路保護を実現し、破滅的な忘れに対処することができる。
論文 参考訳(メタデータ) (2025-05-24T07:16:55Z) - ALADE-SNN: Adaptive Logit Alignment in Dynamically Expandable Spiking Neural Networks for Class Incremental Learning [15.022211557367273]
クラスインクリメンタルラーニング(CIL)のための動的構造を持つスパイキングニューラルネットワーク(SNN)を開発した。
このフレームワークは、バランスの取れた特徴表現のための適応ロジットアライメントと、凍結した古い特徴をトレーニング中に新しいクラスにマッピングする重み管理のためのOtoN抑制を含む。
実験の結果、ALADE-SNNはCIFAR100-B0ベンチマークで平均75.42のインクリメンタル精度を10段階以上達成していることがわかった。
論文 参考訳(メタデータ) (2024-12-17T09:13:22Z) - Order parameters and phase transitions of continual learning in deep neural networks [6.349503549199403]
継続学習(CL)により、動物は事前知識を消去することなく新しいタスクを学習することができる。
ニューラルネットワーク(NN)におけるCLは、破滅的な忘れが原因で困難であり、新しい学習は古いタスクのパフォーマンスを低下させる。
本稿では,ネットワークの入出力マッピングがタスク列を学習する際に特徴付ける,深層広帯域NNにおけるCLの統計力学理論を提案する。
論文 参考訳(メタデータ) (2024-07-14T20:22:36Z) - Compressed Latent Replays for Lightweight Continual Learning on Spiking Neural Networks [45.53312220335389]
我々は、スパイキングニューラルネットワーク(SNN)のためのLR(Latent Replay)ベースのCLの最初のメモリ効率実装を紹介する。
LRは、新しいサンプルと以前に学習したデータの潜在表現を組み合わせることで、忘れを緩和する。
サンプルタスクとクラスインクリメンタルタスクを用いたハイデルベルクSHDデータセットの実験は、それぞれ92.5%と92%のTop-1精度に達した。
論文 参考訳(メタデータ) (2024-05-08T09:03:17Z) - Negotiated Representations to Prevent Forgetting in Machine Learning
Applications [0.0]
破滅的な忘れは、機械学習の分野で重要な課題である。
本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
論文 参考訳(メタデータ) (2023-11-30T22:43:50Z) - CLR: Channel-wise Lightweight Reprogramming for Continual Learning [63.94773340278971]
継続的な学習は、逐次的なタスクを通じて継続的に知識を蓄積する人間の能力をエミュレートすることを目的としている。
主な課題は、新しいタスクを学習した後、以前に学習したタスクのパフォーマンスを維持することである。
本稿では、畳み込みニューラルネットワークが破滅的な忘れを克服するのに役立つチャネルワイドなライトウェイト・リプログラミング手法を提案する。
論文 参考訳(メタデータ) (2023-07-21T06:56:21Z) - Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。
私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
論文 参考訳(メタデータ) (2023-07-13T16:39:08Z) - Continual Prune-and-Select: Class-incremental learning with specialized
subnetworks [66.4795381419701]
CP&S(Continuous-Prune-and-Select)は、ImageNet-1000から10タスクを逐次学習できる。
これは、クラス増分学習における第一級の結果である。
論文 参考訳(メタデータ) (2022-08-09T10:49:40Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳(メタデータ) (2022-02-21T13:25:03Z) - GROWN: GRow Only When Necessary for Continual Learning [39.56829374809613]
ディープニューラルネットワーク(Deep Neural Networks, DNN)は、新しいタスクを学ぶ際に、以前のタスクに関する知識を忘れてしまう。
この問題に対処するために、新しいタスクを逐次学習し、忘れずに古いタスクから新しいタスクへの知識伝達を行う連続学習が開発された。
GROWNは、必要な時にのみモデルを動的に成長させる、新しいエンドツーエンドの継続的学習フレームワークである。
論文 参考訳(メタデータ) (2021-10-03T02:31:04Z) - iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。
ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。
遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
論文 参考訳(メタデータ) (2020-03-25T21:42:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。