Fugu-MT 論文翻訳(概要): Bayesian Metaplasticity from Synaptic Uncertainty

論文の概要: Bayesian Metaplasticity from Synaptic Uncertainty

arxiv url: http://arxiv.org/abs/2312.10153v1
Date: Fri, 15 Dec 2023 19:06:10 GMT
ステータス: 処理完了
システム内更新日: 2023-12-19 18:10:24.644652
Title: Bayesian Metaplasticity from Synaptic Uncertainty
Title（参考訳）: シナプス不確かさからのベイズ変塑性
Authors: Djohan Bonnet, Tifenn Hirtzlin, Tarcisius Januel, Thomas Dalgaty, Damien Querlioz, Elisa Vianello
Abstract要約: メタ可塑性とベイズ推論の原理に触発されたMetaplasticity from Synaptic Uncertainity (MESU)を紹介する。 MESUはシナプス不確実性を利用して情報を時間とともに保持し、その更新規則はシナプス更新のための対角線ニュートン法を密接に近似している。明示的なタスク境界を必要とせずに100タスクにわたる学習性能を維持するMESUの際立った能力を示す。
参考スコア（独自算出の注目度）: 0.9786690381850356
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Catastrophic forgetting remains a challenge for neural networks, especially in lifelong learning scenarios. In this study, we introduce MEtaplasticity from Synaptic Uncertainty (MESU), inspired by metaplasticity and Bayesian inference principles. MESU harnesses synaptic uncertainty to retain information over time, with its update rule closely approximating the diagonal Newton's method for synaptic updates. Through continual learning experiments on permuted MNIST tasks, we demonstrate MESU's remarkable capability to maintain learning performance across 100 tasks without the need of explicit task boundaries.
Abstract（参考訳）: 特に生涯学習シナリオにおいて、破滅的な忘れはニューラルネットワークにとって課題である。本研究では,メタ可塑性とベイズ推論の原理に触発されたMetaplasticity from Synaptic Uncertainity (MESU)を紹介する。 MESUはシナプス不確実性を利用して情報を時間とともに保持し、その更新規則はシナプス更新のための対角線ニュートン法を密接に近似している。 MNISTタスクの連続学習実験を通じて、明示的なタスク境界を必要とせず、100タスクにわたる学習性能を維持するMESUの際立った能力を示す。

関連論文リスト

Temporal-Difference Variational Continual Learning [89.32940051152782]
現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
論文参考訳（メタデータ） (2024-10-10T10:58:41Z)
TACOS: Task Agnostic Continual Learning in Spiking Neural Networks [1.703671463296347]
破滅的な干渉は、新しい情報を学ぶ際に学習した情報が失われることであり、機械学習において依然として大きな課題である。本研究では, シナプス結合やメタ可塑性などの神経誘発機構が, スパイク神経ネットワークにおける破滅的干渉を緩和することを示した。我々のモデルであるTACOSは、神経変調と複雑なシナプス力学を組み合わせることで、以前の情報を保護しながら新しい学習を可能にする。
論文参考訳（メタデータ） (2024-08-16T15:42:16Z)
Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文参考訳（メタデータ） (2023-09-15T17:10:51Z)
IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
論文参考訳（メタデータ） (2023-06-18T05:26:49Z)
Bayesian Continual Learning via Spiking Neural Networks [38.518936229794214]
我々は,学習課題の変更に適応可能なニューロモルフィックシステムの設計に向けて一歩踏み出した。ベイズ連続学習フレームワーク内のニューラルネットワーク(SNN)をスパイクするためのオンライン学習ルールを導出する。実数値と二値のシナプス重みに対する提案手法のインスタンス化を行う。
論文参考訳（メタデータ） (2022-08-29T17:11:14Z)
The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
論文参考訳（メタデータ） (2022-05-20T10:10:32Z)
Sparsity and Heterogeneous Dropout for Continual Learning in the Null Space of Neural Activations [36.24028295650668]
非定常的な入力データストリームからの連続的/長期的学習は知性の基盤である。ディープニューラルネットワークは、新しいものを学ぶ際に、これまで学んだ情報を忘れる傾向がある。近年、ディープニューラルネットワークにおける破滅的な忘れを乗り越えることが、研究の活発な分野となっている。
論文参考訳（メタデータ） (2022-03-12T21:12:41Z)
Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文参考訳（メタデータ） (2022-02-21T13:25:03Z)
SpikePropamine: Differentiable Plasticity in Spiking Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)におけるシナプス可塑性と神経調節シナプス可塑性のダイナミクスを学習するための枠組みを導入する。異なる可塑性で強化されたSNNは、時間的学習課題の集合を解決するのに十分であることを示す。これらのネットワークは、高次元のロボット学習タスクで移動を生成できることも示されている。
論文参考訳（メタデータ） (2021-06-04T19:29:07Z)
Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文参考訳（メタデータ） (2020-11-12T06:06:33Z)
Enabling Continual Learning with Differentiable Hebbian Plasticity [18.12749708143404]
連続学習は、獲得した知識を保護しながら、新しいタスクや知識を順次学習する問題である。破滅的な忘れ物は、そのような学習プロセスを実行するニューラルネットワークにとって、大きな課題となる。微分可能なヘビアン塑性からなるヘビアンコンソリデーションモデルを提案する。
論文参考訳（メタデータ） (2020-06-30T06:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。