論文の概要: Mistake gating leads to energy and memory efficient continual learning
- arxiv url: http://arxiv.org/abs/2604.14336v1
- Date: Wed, 15 Apr 2026 18:44:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-17 21:29:29.997038
- Title: Mistake gating leads to energy and memory efficient continual learning
- Title（参考訳）: ミステイクゲーティングはエネルギーとメモリ効率の連続学習につながる
- Authors: Aaron Pache, Mark CW van Rossum,
- Abstract要約: 本稿では,現在および過去の分類誤りによってシナプス更新が厳格化される,生物学的に妥当な可塑性規則を提案する。
1) 既存の知識の背景から新たな知識が獲得される漸進的な学習、2) 誤りゲーティングがストレージバッファの要求を減少させるため、後続の再生のためにデータが格納される必要があるオンライン学習シナリオ。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Synaptic plasticity is metabolically expensive, yet animals continuously update their internal models without exhausting energy reserves. However, when artificial neural networks are trained, the network parameters are typically updated on every sample that is presented, even if the sample was classified correctly. Inspired by the human negativity bias and error-related negativity, we propose 'memorized mistake-gated learning' -- a biologically plausible plasticity rule where synaptic updates are strictly gated by current and past classification errors. This reduces the number of updates the network needs to make by $50\%\sim80\%$. Mistake gating is particularly well suited in two cases: 1) For incremental learning where new knowledge is acquired on a background of pre-existing knowledge, 2) For online learning scenarios when data needs to be stored for later replay, as mistake-gating reduces storage buffer requirements. The algorithm can be implemented in a few lines of code, adds no hyper-parameters, and comes at negligible computational overhead. Learning on mistakes is an energy efficient and biologically relevant modification to commonly used learning rules that is well suited for continual learning.
- Abstract（参考訳）: シナプスの可塑性は代謝的に高価であるが、動物はエネルギーを消費することなく内部モデルを継続的に更新する。
しかしながら、人工ニューラルネットワークをトレーニングする場合、通常、サンプルが正しく分類されたとしても、提示されるすべてのサンプルに対して、ネットワークパラメータが更新される。
人間の否定バイアスとエラーに関連する否定性から着想を得た,我々は,現在および過去の分類誤りによってシナプス更新が厳格に強制される,生物学的に妥当な可塑性規則である「暗黙の誤字学習」を提案する。
これにより、ネットワークが行う更新回数を50\%\sim80\%$に削減できる。
特に2つのケースに特に適しているのが、ミステイクゲーティングである。
1)既存の知識を背景に新たな知識が獲得される漸進的な学習。
2) 誤りゲーティングがストレージバッファの要求を減少させるため、後続の再生のためにデータが格納される必要があるオンライン学習シナリオ。
このアルゴリズムは数行のコードで実装でき、ハイパーパラメータを追加せず、計算オーバーヘッドが無視できる。
ミスに関する学習は、継続的な学習に適した一般的な学習規則に対する、エネルギー効率が高く生物学的に関連する修正である。
関連論文リスト
- Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation [58.3773038915023]
継続的な学習は、事前訓練されたモデルを、以前取得した知識を忘れずにシーケンシャルなタスクに適応することを目的としている。
既存のほとんどのアプローチは、現在のタスク固有の更新が以前取得した知識を自然に保存するプロパティを考慮せずに、継続的な学習を過去の更新への干渉を避けるものとして扱う。
本稿では,視覚言語モデルで使用される標準深度ドットと互換性のある一階述語法を用いてこの問題に対処する。
論文 参考訳（メタデータ） (2026-01-31T13:27:02Z) - Continual Learning via Sparse Memory Finetuning [58.163704181154834]
本稿では,スパースパラメータの更新が大惨事な忘れをせずに学習を可能にするかどうかを考察する。
事前学習データの使用に関する新しい知識によって活性化されるメモリスロットのみを更新することにより、新しい知識とモデルの既存の能力との干渉を減らすことができる。
スパースメモリの微調整は、忘れることを大幅に減らしながら、新しい知識を学習することを発見した。
論文 参考訳（メタデータ） (2025-10-16T19:44:38Z) - ELiSe: Efficient Learning of Sequences in Structured Recurrent Networks [1.5931140598271163]
局所的な常時オンおよび位相自由可塑性のみを用いて,効率的な学習シーケンスのモデルを構築した。
鳥の鳴き声学習のモックアップでELiSeの能力を実証し、パラメトリゼーションに関してその柔軟性を実証する。
論文 参考訳（メタデータ） (2024-02-26T17:30:34Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳（メタデータ） (2023-03-07T18:59:38Z) - Explain to Not Forget: Defending Against Catastrophic Forgetting with
XAI [10.374979214803805]
破滅的な忘れは、ニューラルネットワークが新しい情報を与えられたときの過去の知識を完全に忘れてしまう現象を記述している。
我々は、ニューラルネットワークが新しいデータをトレーニングする際に、以前のタスクで既に学んだ情報を保持するために、レイヤーワイズ関連伝播を利用する、トレーニングと呼ばれる新しいトレーニングアルゴリズムを提案する。
我々の手法は、ニューラルネットワーク内の古いタスクの知識をうまく保持するだけでなく、他の最先端のソリューションよりもリソース効率が良い。
論文 参考訳（メタデータ） (2022-05-04T08:00:49Z) - New Insights on Reducing Abrupt Representation Change in Online
Continual Learning [69.05515249097208]
我々は、以前に観測されていないクラスが入ってくるデータストリームに現れるときに発生する観測データの表現の変化に焦点を当てる。
Experience Replayを適用すると、新たに追加されたクラスの表現が以前のクラスと大幅に重複することを示します。
本稿では,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。
論文 参考訳（メタデータ） (2022-03-08T01:37:00Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳（メタデータ） (2022-02-21T13:25:03Z) - Representation Memorization for Fast Learning New Knowledge without
Forgetting [36.55736909586313]
新しい知識を素早く学習する能力は、人間レベルの知性への大きな一歩だ。
新しいクラスやデータ配布を迅速かつ漸進的に学ぶ必要があるシナリオを考えます。
本稿では,2つの課題に対処するため,メモリベースのヘビアン適応を提案する。
論文 参考訳（メタデータ） (2021-08-28T07:54:53Z) - Continual learning under domain transfer with sparse synaptic bursting [2.314558204145174]
我々は、未確認のデータセットを逐次学習するシステムを、時間とともにほとんど忘れずに導入する。
本手法は,タスク間で再資源化される重みのスパースバーストを伴って,ドメイン転送下で連続的に学習する。
論文 参考訳（メタデータ） (2021-08-26T22:53:27Z) - Incremental Deep Neural Network Learning using Classification Confidence
Thresholding [4.061135251278187]
分類のための現代のニューラルネットワークのほとんどは、未知の概念を考慮していない。
本稿では,逐次学習のための素数ニューラルネットワークに対する分類信頼度閾値アプローチを提案する。
論文 参考訳（メタデータ） (2021-06-21T22:46:28Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳（メタデータ） (2020-11-12T06:06:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。