論文の概要: Bayesian Metaplasticity from Synaptic Uncertainty
- arxiv url: http://arxiv.org/abs/2312.10153v1
- Date: Fri, 15 Dec 2023 19:06:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 18:10:24.644652
- Title: Bayesian Metaplasticity from Synaptic Uncertainty
- Title(参考訳): シナプス不確かさからのベイズ変塑性
- Authors: Djohan Bonnet, Tifenn Hirtzlin, Tarcisius Januel, Thomas Dalgaty,
Damien Querlioz, Elisa Vianello
- Abstract要約: メタ可塑性とベイズ推論の原理に触発されたMetaplasticity from Synaptic Uncertainity (MESU)を紹介する。
MESUはシナプス不確実性を利用して情報を時間とともに保持し、その更新規則はシナプス更新のための対角線ニュートン法を密接に近似している。
明示的なタスク境界を必要とせずに100タスクにわたる学習性能を維持するMESUの際立った能力を示す。
- 参考スコア(独自算出の注目度): 0.9786690381850356
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Catastrophic forgetting remains a challenge for neural networks, especially
in lifelong learning scenarios. In this study, we introduce MEtaplasticity from
Synaptic Uncertainty (MESU), inspired by metaplasticity and Bayesian inference
principles. MESU harnesses synaptic uncertainty to retain information over
time, with its update rule closely approximating the diagonal Newton's method
for synaptic updates. Through continual learning experiments on permuted MNIST
tasks, we demonstrate MESU's remarkable capability to maintain learning
performance across 100 tasks without the need of explicit task boundaries.
- Abstract(参考訳): 特に生涯学習シナリオにおいて、破滅的な忘れはニューラルネットワークにとって課題である。
本研究では,メタ可塑性とベイズ推論の原理に触発されたMetaplasticity from Synaptic Uncertainity (MESU)を紹介する。
MESUはシナプス不確実性を利用して情報を時間とともに保持し、その更新規則はシナプス更新のための対角線ニュートン法を密接に近似している。
MNISTタスクの連続学習実験を通じて、明示的なタスク境界を必要とせず、100タスクにわたる学習性能を維持するMESUの際立った能力を示す。
関連論文リスト
- Evaluating and Improving Continual Learning in Spoken Language
Understanding [58.723320551761525]
本研究では,連続学習における安定性,可塑性,一般化性に関する統一的な評価手法を提案する。
提案手法を用いることで,SLUモデルのこれらの3つの特性の異なる側面を,様々な知識蒸留の導入によってどのように改善するかを実証する。
論文 参考訳(メタデータ) (2024-02-16T03:30:27Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は破滅的な忘れ込みという課題を克服しようと試み、そこでは新しいタスクを解くための学習が、モデルが以前に学習した情報を忘れる原因となる。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れ込みを抑える新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-09-15T17:10:51Z) - IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。
ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。
IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
論文 参考訳(メタデータ) (2023-06-18T05:26:49Z) - Bayesian Continual Learning via Spiking Neural Networks [38.518936229794214]
我々は,学習課題の変更に適応可能なニューロモルフィックシステムの設計に向けて一歩踏み出した。
ベイズ連続学習フレームワーク内のニューラルネットワーク(SNN)をスパイクするためのオンライン学習ルールを導出する。
実数値と二値のシナプス重みに対する提案手法のインスタンス化を行う。
論文 参考訳(メタデータ) (2022-08-29T17:11:14Z) - The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。
我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
論文 参考訳(メタデータ) (2022-05-20T10:10:32Z) - Sparsity and Heterogeneous Dropout for Continual Learning in the Null
Space of Neural Activations [36.24028295650668]
非定常的な入力データストリームからの連続的/長期的学習は知性の基盤である。
ディープニューラルネットワークは、新しいものを学ぶ際に、これまで学んだ情報を忘れる傾向がある。
近年、ディープニューラルネットワークにおける破滅的な忘れを乗り越えることが、研究の活発な分野となっている。
論文 参考訳(メタデータ) (2022-03-12T21:12:41Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳(メタデータ) (2022-02-21T13:25:03Z) - SpikePropamine: Differentiable Plasticity in Spiking Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)におけるシナプス可塑性と神経調節シナプス可塑性のダイナミクスを学習するための枠組みを導入する。
異なる可塑性で強化されたSNNは、時間的学習課題の集合を解決するのに十分であることを示す。
これらのネットワークは、高次元のロボット学習タスクで移動を生成できることも示されている。
論文 参考訳(メタデータ) (2021-06-04T19:29:07Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳(メタデータ) (2020-11-12T06:06:33Z) - Meta-Learning through Hebbian Plasticity in Random Networks [12.433600693422235]
生涯学習と適応性は生物学的エージェントの2つの決定的な側面である。
この生物学的メカニズムに着想を得て,シナプス固有のヘビアン学習規則のみを探索する探索法を提案する。
完全にランダムな重みから始めると、発見されたヘビーンの規則により、エージェントは動的2Dピクセル環境をナビゲートできる。
論文 参考訳(メタデータ) (2020-07-06T14:32:31Z) - Enabling Continual Learning with Differentiable Hebbian Plasticity [18.12749708143404]
連続学習は、獲得した知識を保護しながら、新しいタスクや知識を順次学習する問題である。
破滅的な忘れ物は、そのような学習プロセスを実行するニューラルネットワークにとって、大きな課題となる。
微分可能なヘビアン塑性からなるヘビアンコンソリデーションモデルを提案する。
論文 参考訳(メタデータ) (2020-06-30T06:42:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。