論文の概要: Bayesian continual learning and forgetting in neural networks

• arxiv url: http://arxiv.org/abs/2504.13569v1
• Date: Fri, 18 Apr 2025 09:11:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 16:32:40.107225
• Title: Bayesian continual learning and forgetting in neural networks
• Title（参考訳）: ニューラルネットワークにおけるベイズ連続学習と忘れ
• Authors: Djohan Bonnet, Kellian Cottart, Tifenn Hirtzlin, Tarcisius Januel, Thomas Dalgaty, Elisa Vianello, Damien Querlioz,
• Abstract要約: シナプス不確実性(MESU)からメタ可塑性を導入する MESUはベイジアンフレームワークであり、不確実性に応じてネットワークパラメータを更新する。 この結果は, メタ塑性, ベイズ推定, ヘッセン系正則化のアイデアを統一するものである。
• 参考スコア（独自算出の注目度）: 0.8795040582681392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Biological synapses effortlessly balance memory retention and flexibility, yet artificial neural networks still struggle with the extremes of catastrophic forgetting and catastrophic remembering. Here, we introduce Metaplasticity from Synaptic Uncertainty (MESU), a Bayesian framework that updates network parameters according their uncertainty. This approach allows a principled combination of learning and forgetting that ensures that critical knowledge is preserved while unused or outdated information is gradually released. Unlike standard Bayesian approaches -- which risk becoming overly constrained, and popular continual-learning methods that rely on explicit task boundaries, MESU seamlessly adapts to streaming data. It further provides reliable epistemic uncertainty estimates, allowing out-of-distribution detection, the only computational cost being to sample the weights multiple times to provide proper output statistics. Experiments on image-classification benchmarks demonstrate that MESU mitigates catastrophic forgetting, while maintaining plasticity for new tasks. When training 200 sequential permuted MNIST tasks, MESU outperforms established continual learning techniques in terms of accuracy, capability to learn additional tasks, and out-of-distribution data detection. Additionally, due to its non-reliance on task boundaries, MESU outperforms conventional learning techniques on the incremental training of CIFAR-100 tasks consistently in a wide range of scenarios. Our results unify ideas from metaplasticity, Bayesian inference, and Hessian-based regularization, offering a biologically-inspired pathway to robust, perpetual learning.
• Abstract（参考訳）: 生物学的シナプスは記憶の保持と柔軟性のバランスを取るが、人工知能は依然として破滅的な記憶と破滅的な記憶の極端に苦戦している。 本稿では,Metaplasticity from Synaptic Uncertainty (MESU)について紹介する。 このアプローチは、未使用または時代遅れの情報が徐々に解放されながら、重要な知識が保存されることを保証する、学習と忘れの原則の組み合わせを可能にする。 過度に制約されるリスクがあり、明示的なタスク境界に依存する一般的な継続的学習手法である標準的なベイズアプローチとは異なり、MESUはストリーミングデータにシームレスに適応する。 さらに、信頼性の高いてんかんの不確実性推定を提供し、分布外検出を可能にし、適切な出力統計を提供するために、重みを複数回サンプリングする計算コストが唯一のものである。 画像分類ベンチマークの実験では、MESUは新しいタスクの可塑性を維持しながら、破滅的な忘れを省くことが示されている。 200の逐次置換MNISTタスクのトレーニングにおいて、MESUは、精度、追加タスクの学習能力、アウト・オブ・ディストリビューションデータ検出の点で、確立された継続学習技術より優れています。 さらに,タスク境界に依存しないため,MESUはCIFAR-100タスクの漸進的トレーニングにおいて,幅広いシナリオにおいて従来の学習技術よりも優れていた。 その結果, メタ可塑性, ベイズ推論, ヘッセン系正規化のアイデアを統一し, 生物学的にインスパイアされた, 頑健かつ永続的な学習への道筋を提供することができた。

関連論文リスト

• Dreaming Learning [41.94295877935867]
  機械学習システムに新しい情報を導入することは、以前に格納されたデータに干渉する可能性がある。 スチュアート・カウフマンの随伴可能性の概念に着想を得た学習アルゴリズムを提案する。 ニューラルネットワークは、予想と異なる統計特性を持つデータシーケンスを円滑に受け入れ、統合することを前提としている。
  論文  参考訳（メタデータ） (2024-10-23T09:17:31Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• Bayesian Metaplasticity from Synaptic Uncertainty [0.9786690381850356]
  メタ可塑性とベイズ推論の原理に触発されたMetaplasticity from Synaptic Uncertainity (MESU)を紹介する。 MESUはシナプス不確実性を利用して情報を時間とともに保持し、その更新規則はシナプス更新のための対角線ニュートン法を密接に近似している。 明示的なタスク境界を必要とせずに100タスクにわたる学習性能を維持するMESUの際立った能力を示す。
  論文  参考訳（メタデータ） (2023-12-15T19:06:10Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
  継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。 ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
  論文  参考訳（メタデータ） (2023-06-18T05:26:49Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Minimum-Delay Adaptation in Non-Stationary Reinforcement Learning via Online High-Confidence Change-Point Detection [7.685002911021767]
  非定常環境におけるポリシーを効率的に学習するアルゴリズムを導入する。 これは、リアルタイム、高信頼な変更点検出統計において、潜在的に無限のデータストリームと計算を解析する。 i) このアルゴリズムは, 予期せぬ状況変化が検出されるまでの遅延を最小限に抑え, 迅速な応答を可能にする。
  論文  参考訳（メタデータ） (2021-05-20T01:57:52Z)
• Enabling Continual Learning with Differentiable Hebbian Plasticity [18.12749708143404]
  連続学習は、獲得した知識を保護しながら、新しいタスクや知識を順次学習する問題である。 破滅的な忘れ物は、そのような学習プロセスを実行するニューラルネットワークにとって、大きな課題となる。 微分可能なヘビアン塑性からなるヘビアンコンソリデーションモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-30T06:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。