論文の概要: SNAP: Stopping Catastrophic Forgetting in Hebbian Learning with Sigmoidal Neuronal Adaptive Plasticity

• arxiv url: http://arxiv.org/abs/2410.15318v1
• Date: Sun, 20 Oct 2024 07:20:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:22:38.198704
• Title: SNAP: Stopping Catastrophic Forgetting in Hebbian Learning with Sigmoidal Neuronal Adaptive Plasticity
• Title（参考訳）: SNAP:Sigmoidal Neuronal Adaptive Plasticity を用いたヘビーン学習における破滅的予防
• Authors: Tianyi Xu, Patrick Zheng, Shiyan Liu, Sicheng Lyu, Isabeau Prémont-Schwarz,
• Abstract要約: ANNは破滅的な忘れ込みに悩まされており、そこでは新しいタスクの学習が、古いタスクの破滅的な忘れ込みを引き起こす。 Sigmoidal Neuronal Adaptive Plasticity (SNAP) はANNの長期増強に有効である。 次に、SNAPを線形重み成長と指数重み成長と比較し、SNAPがヘビアンラーニングの従来のタスクを忘れてはならないが、SGDベースラーニングには当てはまらないことを確認する。
• 参考スコア（独自算出の注目度）: 2.0780235410963153
• License:
• Abstract: Artificial Neural Networks (ANNs) suffer from catastrophic forgetting, where the learning of new tasks causes the catastrophic forgetting of old tasks. Existing Machine Learning (ML) algorithms, including those using Stochastic Gradient Descent (SGD) and Hebbian Learning typically update their weights linearly with experience i.e., independently of their current strength. This contrasts with biological neurons, which at intermediate strengths are very plastic, but consolidate with Long-Term Potentiation (LTP) once they reach a certain strength. We hypothesize this mechanism might help mitigate catastrophic forgetting. We introduce Sigmoidal Neuronal Adaptive Plasticity (SNAP) an artificial approximation to Long-Term Potentiation for ANNs by having the weights follow a sigmoidal growth behaviour allowing the weights to consolidate and stabilize when they reach sufficiently large or small values. We then compare SNAP to linear weight growth and exponential weight growth and see that SNAP completely prevents the forgetting of previous tasks for Hebbian Learning but not for SGD-base learning.
• Abstract（参考訳）: 人工ニューラルネットワーク(ANN)は破滅的な忘れ込みに悩まされており、そこでは新しいタスクの学習が、古いタスクの破滅的な忘れ込みを引き起こす。 既存の機械学習(ML)アルゴリズムは、SGD(Stochastic Gradient Descent)やHebbian Learning(Herbian Learning)などのアルゴリズムを使用しており、現在の強度とは独立して、通常、その重みを線形に更新する。 これは、中間強度で非常に可塑性であるが、ある強度に達するとLTP(Long-Term Potentiation)と融合する生物学的ニューロンとは対照的である。 我々はこのメカニズムが破滅的な忘れを和らげるのに役立つと仮定する。 我々は,Sigmoidal Neuronal Adaptive Plasticity (SNAP) を導入し,Sigmoidal Growth Behavior に従って,Sigmoidal Neuronal Adaptive Plasticity (SNAP) の長期増強に対する人工的近似を行った。 次に、SNAPと線形重み成長と指数的重み成長を比較し、SNAPがヘビアンラーニングの従来のタスクを忘れてはならないが、SGDベースラーニングには向いていないことを確かめる。

関連論文リスト

• Discovering Long-Term Effects on Parameter Efficient Fine-tuning [36.83255498301937]
  事前訓練されたニューラルネットワーク(Annns)は、堅牢なパターン認識機能を示す。 アンとBNNはヒト脳、特にBNNと大きな類似点を共有している アンは微調整によって新しい知識を得ることができる。
  論文  参考訳（メタデータ） (2024-08-24T03:27:29Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• Short-Term Plasticity Neurons Learning to Learn and Forget [0.0]
  短期可塑性(英: Short-term plasticity、STP)は、大脳皮質のシナプスに崩壊する記憶を保存するメカニズムである。 ここでは、新しいタイプのリカレントニューラルネットワークであるAtari Neuron(STPN)を紹介します。
  論文  参考訳（メタデータ） (2022-06-28T14:47:56Z)
• NISPA: Neuro-Inspired Stability-Plasticity Adaptation for Continual Learning in Sparse Networks [6.205922305859479]
  NISPAアーキテクチャは、学習した知識を古いタスクから保存するために安定した経路を形成する。 NISPAは最先端の継続的学習ベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2022-06-18T04:56:49Z)
• Ensemble plasticity and network adaptability in SNNs [0.726437825413781]
  人工スパイキングニューラルネットワーク(ASNN)は、離散的なイベントベース(スパイク)計算のため、より優れた情報処理効率を約束する。 本研究では,スパイク活動のみを用いたエントロピーとネットワークアクティベーションに基づく新しいアンサンブル学習手法を提案する。 その結果, スパイクレートの低いニューロンクラスターを刈り取ると, 一般化や性能の低下が予想されることがわかった。
  論文  参考訳（メタデータ） (2022-03-11T01:14:51Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Self-Adaptive Physics-Informed Neural Networks using a Soft Attention Mechanism [1.6114012813668932]
  非線形偏微分方程式(PDE)の数値解に対するディープニューラルネットワークの有望な応用として、物理情報ニューラルネットワーク(PINN)が登場した。 そこで本研究では,PINNを適応的にトレーニングする方法として,適応重みを完全にトレーニング可能とし,各トレーニングポイントに個別に適用する手法を提案する。 線形および非線形のベンチマーク問題による数値実験では、SA-PINNはL2エラーにおいて他の最先端のPINNアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-09-07T04:07:52Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。