論文の概要: Adaptive Variance-Penalized Continual Learning with Fisher Regularization

• arxiv url: http://arxiv.org/abs/2508.16632v1
• Date: Fri, 15 Aug 2025 21:49:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-31 21:54:20.606115
• Title: Adaptive Variance-Penalized Continual Learning with Fisher Regularization
• Title（参考訳）: 魚の規則化による適応的変則化連続学習
• Authors: Krisanu Sarkar,
• Abstract要約: 本研究は、パラメータ分散のフィッシャー重み付き非対称正規化を統合する、新しい連続学習フレームワークを提案する。 本手法はパラメータの不確かさに応じて正規化強度を動的に変調し,安定性と性能を向上させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The persistent challenge of catastrophic forgetting in neural networks has motivated extensive research in continual learning . This work presents a novel continual learning framework that integrates Fisher-weighted asymmetric regularization of parameter variances within a variational learning paradigm. Our method dynamically modulates regularization intensity according to parameter uncertainty, achieving enhanced stability and performance. Comprehensive evaluations on standard continual learning benchmarks including SplitMNIST, PermutedMNIST, and SplitFashionMNIST demonstrate substantial improvements over existing approaches such as Variational Continual Learning and Elastic Weight Consolidation . The asymmetric variance penalty mechanism proves particularly effective in maintaining knowledge across sequential tasks while improving model accuracy. Experimental results show our approach not only boosts immediate task performance but also significantly mitigates knowledge degradation over time, effectively addressing the fundamental challenge of catastrophic forgetting in neural networks
• Abstract（参考訳）: ニューラルネットワークにおける破滅的な忘れの継続的な課題は、継続的な学習において広範な研究を動機付けている。 本研究は,パラメータ分散のフィッシャー重み付き非対称正規化を変分学習パラダイムに組み込んだ連続学習フレームワークを提案する。 本手法はパラメータの不確かさに応じて正規化強度を動的に変調し,安定性と性能を向上させる。 SplitMNIST、PermutedMNIST、SplitFashionMNISTなどの標準連続学習ベンチマークに関する総合的な評価は、変分連続学習やElastic Weight Consolidationといった既存のアプローチよりも大幅に改善されている。 非対称分散ペナルティ機構は、モデル精度を改善しながら、逐次的なタスク間の知識を維持するのに特に有効である。 実験の結果、我々のアプローチは即時タスク性能を向上するだけでなく、時間とともに知識劣化を著しく軽減し、ニューラルネットワークにおける破滅的な忘れ込みの根本的な課題に効果的に対処していることが示された。

関連論文リスト

• Noradrenergic-inspired gain modulation attenuates the stability gap in joint training [44.99833362998488]
  連続学習の研究は、安定性ギャップとして知られる新しいタスクを同化する際に、マスターされたタスクのパフォーマンスが過度に低下することを発見した。 タスク境界における迅速な適応と堅牢な保持のバランスの不均衡を反映していると我々は主張する。 結節性好中球を介するノルアドレナリン系バーストに着想を得て,不確実性変調ゲインダイナミクスを提案する。
  論文  参考訳（メタデータ） (2025-07-18T16:34:06Z)
• Overcoming catastrophic forgetting in neural networks [0.0]
  破滅的な忘れが継続的な学習を妨げる主要な課題である。 弾性ウェイト・コンソリデーション(Elastic Weight Consolidation)は、生体神経系におけるシナプス・コンソリデーションにインスパイアされた正規化に基づくアプローチである。 以上の結果から,EWC はナイーブトレーニングに比べて忘れを著しく減らすことが示唆された。
  論文  参考訳（メタデータ） (2025-07-14T17:04:05Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Regularization for Adversarial Robust Learning [18.46110328123008]
  我々は,$phi$-divergence正規化を分散ロバストなリスク関数に組み込む,対角訓練のための新しい手法を開発した。 この正規化は、元の定式化と比較して計算の顕著な改善をもたらす。 本研究では,教師付き学習,強化学習,文脈学習において提案手法の有効性を検証し,様々な攻撃に対して最先端の性能を示す。
  論文  参考訳（メタデータ） (2024-08-19T03:15:41Z)
• Learning Continually by Spectral Regularization [45.55508032009977]
  連続学習アルゴリズムは、ネットワークのトレーニング性を維持しながら、良好な性能を維持することにより、可塑性の損失を軽減する。 我々は,初期化時のニューラルネットワークパラメータの特異値が学習の初期段階におけるトレーニング容易性の重要な要因であることから着想を得た,継続学習を改善するための新しい手法を開発した。 提案するスペクトル正規化器は,連続的な教師付きおよび強化学習環境において,様々なモデルアーキテクチャの訓練性と性能を維持可能であることを示す実験的検討を行った。
  論文  参考訳（メタデータ） (2024-06-10T21:34:43Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。