論文の概要: Continual Learning through Control Minimization

• arxiv url: http://arxiv.org/abs/2602.04542v1
• Date: Wed, 04 Feb 2026 13:34:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 19:45:11.54135
• Title: Continual Learning through Control Minimization
• Title（参考訳）: 制御最小化による連続学習
• Authors: Sander de Haan, Yassine Taoudi-Benchekroun, Pau Vilimelis Aceituno, Benjamin F. Grewe,
• Abstract要約: タスクが逐次的にトレーニングされる場合、ニューラルネットワークにとって破滅的な忘れは依然として根本的な課題だ。 学習と保存の信号が競合する制御問題として継続学習を再構築する。 我々のフレームワークは、真の事前タスクの曲率を回復し、タスクの識別を可能にし、リプレイなしで標準ベンチマークにおける既存のメソッドよりも優れた性能を発揮する。
• 参考スコア（独自算出の注目度）: 3.23400924761092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Catastrophic forgetting remains a fundamental challenge for neural networks when tasks are trained sequentially. In this work, we reformulate continual learning as a control problem where learning and preservation signals compete within neural activity dynamics. We convert regularization penalties into preservation signals that protect prior-task representations. Learning then proceeds by minimizing the control effort required to integrate new tasks while competing with the preservation of prior tasks. At equilibrium, the neural activities produce weight updates that implicitly encode the full prior-task curvature, a property we term the continual-natural gradient, requiring no explicit curvature storage. Experiments confirm that our learning framework recovers true prior-task curvature and enables task discrimination, outperforming existing methods on standard benchmarks without replay.
• Abstract（参考訳）: タスクが逐次的にトレーニングされる場合、ニューラルネットワークにとって破滅的な忘れは依然として根本的な課題だ。 本研究では,学習と保存信号が神経活動力学内で競合する制御問題として継続学習を再構成する。 我々は、正規化の罰則を、事前タスク表現を保護する保存信号に変換する。 学習は、以前のタスクの保存と競合しながら、新しいタスクを統合するために必要な制御作業を最小化する。 平衡状態では、神経活動は、暗黙的にプリタスク曲率を符号化する重み更新を発生させ、これは連続的な自然勾配(continuous-natural gradient)と呼ばれ、明示的な曲率保存を必要としない性質である。 実験により、我々の学習フレームワークは真の事前タスクの曲率を回復し、タスクの識別を可能にし、リプレイなしで標準ベンチマーク上の既存のメソッドよりも優れていることを確認した。

関連論文リスト

• Learning Continually by Spectral Regularization [45.55508032009977]
  連続学習アルゴリズムは、ネットワークのトレーニング性を維持しながら、良好な性能を維持することにより、可塑性の損失を軽減する。 我々は,初期化時のニューラルネットワークパラメータの特異値が学習の初期段階におけるトレーニング容易性の重要な要因であることから着想を得た,継続学習を改善するための新しい手法を開発した。 提案するスペクトル正規化器は,連続的な教師付きおよび強化学習環境において,様々なモデルアーキテクチャの訓練性と性能を維持可能であることを示す実験的検討を行った。
  論文  参考訳（メタデータ） (2024-06-10T21:34:43Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Continual Learning with Neuron Activation Importance [1.7513645771137178]
  連続学習は、複数のシーケンシャルなタスクを伴うオンライン学習の概念である。 連続学習の重要な障壁の1つは、ネットワークが古いタスクのデータにアクセスせずに古いタスクの知識を保持する新しいタスクを学習すべきである。 本稿では,タスクの順序によらず,安定な連続学習のためのニューロン活性化重要度に基づく正規化手法を提案する。
  論文  参考訳（メタデータ） (2021-07-27T08:09:32Z)
• Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
  破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。 本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
  論文  参考訳（メタデータ） (2020-06-12T06:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。