論文の概要: Learning to Forget: Continual Learning with Adaptive Weight Decay

• arxiv url: http://arxiv.org/abs/2604.27063v1
• Date: Wed, 29 Apr 2026 18:01:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:53.74643
• Title: Learning to Forget: Continual Learning with Adaptive Weight Decay
• Title（参考訳）: 忘れることの学習: 適応的な重量減少を伴う継続的な学習
• Authors: Aditya A. Ramesh, Alex Lewandowski, Jürgen Schmidhuber,
• Abstract要約: 有限能力の連続学習エージェントは、新しい知識の獲得と古い知識の保持のバランスをとる必要がある。 ウェイト崩壊は、忘れるメカニズムと見なされ、ウェイトに格納された情報を徐々に破棄することで、この役割を果たすことができる。 本稿では, パラメータごとの減量率を近似的メタ勾配降下法によりオンラインに適応させる適応減衰法(Adaptive Decay, FADE)について紹介する。
• 参考スコア（独自算出の注目度）: 30.558842015806363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning agents with finite capacity must balance acquiring new knowledge with retaining the old. This requires controlled forgetting of knowledge that is no longer needed, freeing up capacity to learn. Weight decay, viewed as a mechanism for forgetting, can serve this role by gradually discarding information stored in the weights. However, a fixed scalar weight decay drives this forgetting uniformly over time and uniformly across all parameters, even when some encode stable knowledge while others track rapidly changing targets. We introduce Forgetting through Adaptive Decay (FADE), which adapts per-parameter weight decay rates online via approximate meta-gradient descent. We derive FADE for the online linear setting and apply it to the final layer of neural networks. Our empirical analysis shows that FADE automatically discovers distinct decay rates for different parameters, complements step-size adaptation, and consistently improves over fixed weight decay across online tracking and streaming classification problems.
• Abstract（参考訳）: 有限能力の連続学習エージェントは、新しい知識の獲得と古い知識の保持のバランスをとる必要がある。 これにより、もはや必要とされない知識を制御的に忘れる必要があり、学習能力が解放される。 ウェイト崩壊は、忘れるメカニズムと見なされ、ウェイトに格納された情報を徐々に破棄することで、この役割を果たすことができる。 しかし、固定されたスカラーウェイト崩壊は、安定な知識を符号化する者もあれば、急速に変化する目標を追跡する者もいれば、時間とともに均一に、全てのパラメータにわたって、このことを忘れてしまう。 本稿では, パラメータごとの減量率を近似メタ勾配降下法によりオンラインに適応させる適応型減量法(FADE)について紹介する。 オンライン線形設定のためにFADEを導出し、ニューラルネットワークの最終層に適用する。 我々の経験的分析により、FADEは異なるパラメータの個別の減衰率を自動的に発見し、ステップサイズ適応を補完し、オンラインのトラッキングやストリーミングの分類問題にまたがる固定重量減衰よりも一貫して改善することが示された。

関連論文リスト

• Continuous Knowledge-Preserving Decomposition with Adaptive Layer Selection for Few-Shot Class-Incremental Learning [73.59672160329296]
  CKPD-FSCILは、事前訓練された重量の未使用容量を解放する統合フレームワークである。 本手法は,適応性と知識保持の両面で,最先端の手法より一貫して優れている。
  論文  参考訳（メタデータ） (2025-01-09T07:18:48Z)
• Why Do We Need Weight Decay in Modern Deep Learning? [24.81634291051533]
  重崩壊は、画像分類から大規模言語モデルまで、最先端の深層ネットワークを訓練するための技術である。 本研究では,現代深層学習における重量減衰の役割が,古典的学習理論で研究される正規化効果と異なる点を強調する。 マルチパスSGDで訓練された視覚タスクのディープネットワークにおいて、重み劣化がSGDの暗黙の正則化を促進する最適化力学をどのように修正するかを示す。
  論文  参考訳（メタデータ） (2023-10-06T17:58:21Z)
• FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
  ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。 我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
  論文  参考訳（メタデータ） (2023-10-04T21:11:40Z)
• Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
  我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。 標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-06-29T14:52:04Z)
• IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
  継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。 ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
  論文  参考訳（メタデータ） (2023-06-18T05:26:49Z)
• Improving Robustness with Adaptive Weight Decay [8.096469295357737]
  本稿では,各トレーニング中の重み減衰に対するハイパーパラメータ反復を自動調整する適応的重み減衰法を提案する。 この単純な修正は、ロバスト性に大きな改善をもたらす可能性があることを示す。 この手法には、学習率に対する感度の低下や重量ノルムの低下など、他の望ましい性質がある。
  論文  参考訳（メタデータ） (2022-09-30T21:13:00Z)
• Long-Tailed Recognition via Weight Balancing [66.03068252811993]
  ナイーブトレーニングは、より高い精度で一般的なクラスに偏ったモデルを生成する。 重みのバランス、L2-正規化、重みの崩壊、MaxNormの3つの手法について検討する。 提案手法は,5つの標準ベンチマークにおける最先端の精度を実現する。
  論文  参考訳（メタデータ） (2022-03-27T03:26:31Z)
• On the Overlooked Pitfalls of Weight Decay and How to Mitigate Them: A Gradient-Norm Perspective [90.39123717733334]
  そこで本研究では,Shduled Weight Decay (SWD) 法と呼ばれる,減量のための最初の実用的なスケジューラを提案する。 我々の実験は、SWDが実際に大きな勾配ノルムを緩和し、適応モーメント推定(Adam)の従来の定重崩壊戦略を著しく上回っていることも裏付けている。
  論文  参考訳（メタデータ） (2020-11-23T00:39:49Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。