論文の概要: TACOS: Task Agnostic Continual Learning in Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2409.00021v1
- Date: Fri, 16 Aug 2024 15:42:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-08 15:40:57.146631
- Title: TACOS: Task Agnostic Continual Learning in Spiking Neural Networks
- Title（参考訳）: TACOS:スパイクニューラルネットワークにおけるタスク非依存連続学習
- Authors: Nicholas Soures, Peter Helfer, Anurag Daram, Tej Pandit, Dhireesha Kudithipudi,
- Abstract要約: 破滅的な干渉は、新しい情報を学ぶ際に学習した情報が失われることであり、機械学習において依然として大きな課題である。
本研究では, シナプス結合やメタ可塑性などの神経誘発機構が, スパイク神経ネットワークにおける破滅的干渉を緩和することを示した。
我々のモデルであるTACOSは、神経変調と複雑なシナプス力学を組み合わせることで、以前の情報を保護しながら新しい学習を可能にする。
- 参考スコア（独自算出の注目度）: 1.703671463296347
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Catastrophic interference, the loss of previously learned information when learning new information, remains a major challenge in machine learning. Since living organisms do not seem to suffer from this problem, researchers have taken inspiration from biology to improve memory retention in artificial intelligence systems. However, previous attempts to use bio-inspired mechanisms have typically resulted in systems that rely on task boundary information during training and/or explicit task identification during inference, information that is not available in real-world scenarios. Here, we show that neuro-inspired mechanisms such as synaptic consolidation and metaplasticity can mitigate catastrophic interference in a spiking neural network, using only synapse-local information, with no need for task awareness, and with a fixed memory size that does not need to be increased when training on new tasks. Our model, TACOS, combines neuromodulation with complex synaptic dynamics to enable new learning while protecting previous information. We evaluate TACOS on sequential image recognition tasks and demonstrate its effectiveness in reducing catastrophic interference. Our results show that TACOS outperforms existing regularization techniques in domain-incremental learning scenarios. We also report the results of an ablation study to elucidate the contribution of each neuro-inspired mechanism separately.
- Abstract（参考訳）: 破滅的な干渉は、新しい情報を学ぶ際に学習した情報が失われることであり、機械学習において依然として大きな課題である。
生物はこの問題に悩まされないようで、研究者たちは生物学からインスピレーションを得て、人工知能システムにおける記憶の保持を改善してきた。
しかしながら、バイオインスパイアされたメカニズムを使用する以前の試みは、トレーニング中のタスク境界情報や推論中の明示的なタスク識別に依存するシステム、現実のシナリオでは利用できない情報、が典型的である。
ここでは, シナプス統合やメタ可塑性などの神経誘発機構は, シナプス局所情報のみを用いて, タスクの認識を必要とせず, 新たなタスクのトレーニング時に増大する必要のない固定メモリサイズで, スパイクニューラルネットワークにおける破滅的干渉を軽減することができることを示す。
我々のモデルであるTACOSは、神経変調と複雑なシナプス力学を組み合わせることで、以前の情報を保護しながら新しい学習を可能にする。
画像認識タスクにおけるTACOSの評価を行い、破滅的干渉を減らす効果を実証した。
以上の結果から,TACOSはドメイン・インクリメンタル・ラーニングのシナリオにおいて,既存の正規化手法よりも優れていることがわかった。
また,各神経誘発機構の寄与を別々に解明するためのアブレーション研究の結果も報告した。
関連論文リスト
- Drift to Remember [25.76885050851894]
人工知能(AI)における生涯学習は、生物学的脳が継続的に学習し、知識を保持する能力を模倣することを目的としている。
最近の神経科学研究は、生物学的システムの神経活動が表現的ドリフト(英語版)を受けていることを示唆している。
そこでDriftNetを紹介した。DriftNetは、ロスランドスケープにおける様々なローカルミニマを常に探索し、関連するタスクを動的に検索するネットワークである。
論文 参考訳（メタデータ） (2024-09-21T03:18:44Z) - Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
可塑性の喪失は複数の独立したメカニズムに分解できることを示す。
種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
論文 参考訳（メタデータ） (2024-02-29T00:02:33Z) - Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。
これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。
それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。
本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
論文 参考訳（メタデータ） (2024-02-21T15:51:01Z) - A Study of Biologically Plausible Neural Network: The Role and
Interactions of Brain-Inspired Mechanisms in Continual Learning [13.041607703862724]
人間は絶えず変化する環境から情報を取得し、統合し、保持するのに優れていますが、人工ニューラルネットワーク(ANN)は破滅的な忘れ物を示します。
我々は、デイルの原理に従う排他的および抑制的ニューロンの集団を分離して構成する生物学的に妥当な枠組みを考察する。
次に,脳にインスパイアされた様々なメカニズムの役割と相互作用について包括的研究を行い,その内容は,疎密な非重複表現,ヘビアン学習,シナプス統合,学習イベントに伴う過去の活性化の再現などである。
論文 参考訳（メタデータ） (2023-04-13T16:34:12Z) - Continual learning benefits from multiple sleep mechanisms: NREM, REM,
and Synaptic Downscaling [51.316408685035526]
先行学習を失うことなく、新しいタスクやスキルを連続して学習することは、人工ニューラルネットワークと生物学的ニューラルネットワークの両方にとって、計算上の課題である。
本稿では,3つの異なる睡眠成分のモデル化が,人工ニューラルネットワークの連続学習にどのように影響するかを検討する。
論文 参考訳（メタデータ） (2022-09-09T13:45:27Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳（メタデータ） (2021-12-09T07:11:14Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳（メタデータ） (2021-11-29T15:27:51Z) - Learning by Active Forgetting for Neural Networks [36.47528616276579]
記憶と忘れのメカニズムは、人間の学習記憶システムにおいて、同じコインの2つの側面である。
現代の機械学習システムは、記憶を良くすることで、生涯にわたる学習能力を持つ機械を育むために取り組んできた。
本稿では,ニューラルネットワークを用いた能動的記憶機構による学習モデルを提案する。
論文 参考訳（メタデータ） (2021-11-21T14:55:03Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳（メタデータ） (2020-11-12T06:06:33Z) - Synaptic Metaplasticity in Binarized Neural Networks [4.243926243206826]
ディープニューラルネットワークは、新しいタスクをトレーニングする際に破滅的なことを忘れがちだ。
本研究では,マルチタスクとストリーム学習の状況において,これまで提示したデータを必要としない破滅的な忘れを軽減させる訓練手法を提案する。
この研究は計算神経科学とディープラーニングを橋渡しし、将来の組み込みおよびニューロモルフィックシステムのための重要な資産を提示する。
論文 参考訳（メタデータ） (2020-03-07T08:09:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。