論文の概要: Adaptive Variance-Penalized Continual Learning with Fisher Regularization

• arxiv url: http://arxiv.org/abs/2508.16632v1
• Date: Fri, 15 Aug 2025 21:49:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-31 21:54:20.606115
• Title: Adaptive Variance-Penalized Continual Learning with Fisher Regularization
• Title（参考訳）: 魚の規則化による適応的変則化連続学習
• Authors: Krisanu Sarkar,
• Abstract要約: 本研究は、パラメータ分散のフィッシャー重み付き非対称正規化を統合する、新しい連続学習フレームワークを提案する。 本手法はパラメータの不確かさに応じて正規化強度を動的に変調し,安定性と性能を向上させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The persistent challenge of catastrophic forgetting in neural networks has motivated extensive research in continual learning . This work presents a novel continual learning framework that integrates Fisher-weighted asymmetric regularization of parameter variances within a variational learning paradigm. Our method dynamically modulates regularization intensity according to parameter uncertainty, achieving enhanced stability and performance. Comprehensive evaluations on standard continual learning benchmarks including SplitMNIST, PermutedMNIST, and SplitFashionMNIST demonstrate substantial improvements over existing approaches such as Variational Continual Learning and Elastic Weight Consolidation . The asymmetric variance penalty mechanism proves particularly effective in maintaining knowledge across sequential tasks while improving model accuracy. Experimental results show our approach not only boosts immediate task performance but also significantly mitigates knowledge degradation over time, effectively addressing the fundamental challenge of catastrophic forgetting in neural networks
• Abstract（参考訳）: ニューラルネットワークにおける破滅的な忘れの継続的な課題は、継続的な学習において広範な研究を動機付けている。 本研究は,パラメータ分散のフィッシャー重み付き非対称正規化を変分学習パラダイムに組み込んだ連続学習フレームワークを提案する。 本手法はパラメータの不確かさに応じて正規化強度を動的に変調し,安定性と性能を向上させる。 SplitMNIST、PermutedMNIST、SplitFashionMNISTなどの標準連続学習ベンチマークに関する総合的な評価は、変分連続学習やElastic Weight Consolidationといった既存のアプローチよりも大幅に改善されている。 非対称分散ペナルティ機構は、モデル精度を改善しながら、逐次的なタスク間の知識を維持するのに特に有効である。 実験の結果、我々のアプローチは即時タスク性能を向上するだけでなく、時間とともに知識劣化を著しく軽減し、ニューラルネットワークにおける破滅的な忘れ込みの根本的な課題に効果的に対処していることが示された。

関連論文リスト

• Learning to be Reproducible: Custom Loss Design for Robust Neural Networks [4.3094059981414405]
  予測精度とトレーニング安定性のバランスをとるカスタムロス関数(CLF)を提案する。 CLFは予測性能を犠牲にすることなくトレーニングを大幅に改善する。 これらの結果は、より安定的で信頼性があり、信頼できるニューラルネットワークを開発するための効率的かつ効率的な戦略として、CLFを確立している。
  論文  参考訳（メタデータ） (2026-01-02T05:31:08Z)
• On the Stability of Neural Networks in Deep Learning [3.843574434245427]
  この論文は、ニューラルネットワークが入力レベルとパラメータレベルの両方の摂動にどのように反応するかを考察する。 リプシッツネットワークを摂動に対する感度を制約する原理的な方法として検討し、一般化、対向強靭性、訓練安定性を改善する。
  論文  参考訳（メタデータ） (2025-10-29T08:38:43Z)
• MaP: A Unified Framework for Reliable Evaluation of Pre-training Dynamics [72.00014675808228]
  大規模言語モデルの不安定性評価プロセスは、真の学習力学を曖昧にする。 textbfMaPは、アンダーラインMergingアンダーラインとアンダーラインPass@kメトリックを統合するフレームワークです。 実験により、MaPはよりスムーズな性能曲線を示し、ラン間分散を低減し、より一貫性のあるランキングを保証する。
  論文  参考訳（メタデータ） (2025-10-10T11:40:27Z)
• Noradrenergic-inspired gain modulation attenuates the stability gap in joint training [44.99833362998488]
  連続学習の研究は、安定性ギャップとして知られる新しいタスクを同化する際に、マスターされたタスクのパフォーマンスが過度に低下することを発見した。 タスク境界における迅速な適応と堅牢な保持のバランスの不均衡を反映していると我々は主張する。 結節性好中球を介するノルアドレナリン系バーストに着想を得て,不確実性変調ゲインダイナミクスを提案する。
  論文  参考訳（メタデータ） (2025-07-18T16:34:06Z)
• Overcoming catastrophic forgetting in neural networks [0.0]
  破滅的な忘れが継続的な学習を妨げる主要な課題である。 弾性ウェイト・コンソリデーション(Elastic Weight Consolidation)は、生体神経系におけるシナプス・コンソリデーションにインスパイアされた正規化に基づくアプローチである。 以上の結果から,EWC はナイーブトレーニングに比べて忘れを著しく減らすことが示唆された。
  論文  参考訳（メタデータ） (2025-07-14T17:04:05Z)
• Continual Learning in Vision-Language Models via Aligned Model Merging [84.47520899851557]
  塑性を保ちながら安定性を維持するために,モデルマージに基づく新しい視点を提案する。 マージプロセスの有効性を最大化するために,従来のものと一致した重みの学習を促進するシンプルなメカニズムを提案する。
  論文  参考訳（メタデータ） (2025-05-30T20:52:21Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Regularization for Adversarial Robust Learning [18.46110328123008]
  我々は,$phi$-divergence正規化を分散ロバストなリスク関数に組み込む,対角訓練のための新しい手法を開発した。 この正規化は、元の定式化と比較して計算の顕著な改善をもたらす。 本研究では,教師付き学習,強化学習,文脈学習において提案手法の有効性を検証し,様々な攻撃に対して最先端の性能を示す。
  論文  参考訳（メタデータ） (2024-08-19T03:15:41Z)
• Learning Continually by Spectral Regularization [45.55508032009977]
  連続学習アルゴリズムは、ネットワークのトレーニング性を維持しながら、良好な性能を維持することにより、可塑性の損失を軽減する。 我々は,初期化時のニューラルネットワークパラメータの特異値が学習の初期段階におけるトレーニング容易性の重要な要因であることから着想を得た,継続学習を改善するための新しい手法を開発した。 提案するスペクトル正規化器は,連続的な教師付きおよび強化学習環境において,様々なモデルアーキテクチャの訓練性と性能を維持可能であることを示す実験的検討を行った。
  論文  参考訳（メタデータ） (2024-06-10T21:34:43Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。