論文の概要: Group and Exclusive Sparse Regularization-based Continual Learning of CNNs

• arxiv url: http://arxiv.org/abs/2601.03658v1
• Date: Wed, 07 Jan 2026 07:15:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-08 18:12:46.14817
• Title: Group and Exclusive Sparse Regularization-based Continual Learning of CNNs
• Title（参考訳）: グループと排他的スパース正規化に基づくCNNの連続学習
• Authors: Basile Tousside, Janis Mohr, Jörg Frochte,
• Abstract要約: Group and Exclusive Sparsity based Continual Learningは、以前のタスクを忘れることを避ける。 GESCLは、プラスチックの規則化用語を通じてネットワークプラスティックを作る。 一般的なCLビジョンベンチマークの実験では、GESCLは最先端の手法よりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 0.2897702129074362
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a regularization-based approach for continual learning (CL) of fixed capacity convolutional neural networks (CNN) that does not suffer from the problem of catastrophic forgetting when learning multiple tasks sequentially. This method referred to as Group and Exclusive Sparsity based Continual Learning (GESCL) avoids forgetting of previous tasks by ensuring the stability of the CNN via a stability regularization term, which prevents filters detected as important for past tasks to deviate too much when learning a new task. On top of that, GESCL makes the network plastic via a plasticity regularization term that leverage the over-parameterization of CNNs to efficiently sparsify the network and tunes unimportant filters making them relevant for future tasks. Doing so, GESCL deals with significantly less parameters and computation compared to CL approaches that either dynamically expand the network or memorize past tasks' data. Experiments on popular CL vision benchmarks show that GESCL leads to significant improvements over state-of-the-art method in terms of overall CL performance, as measured by classification accuracy as well as in terms of avoiding catastrophic forgetting.
• Abstract（参考訳）: 本稿では,複数のタスクを逐次学習する際の破滅的忘れの問題に悩まされない,固定容量畳み込みニューラルネットワーク(CNN)の連続学習(CL)に対する正規化に基づくアプローチを提案する。 GESCL(Group and Exclusive Sparsity based Continual Learning)と呼ばれるこの手法は、CNNの安定性を安定規則化項で保証することで、過去のタスクにとって重要なフィルタが新しいタスクを学習する際に過度に逸脱することを防止することで、過去のタスクの忘れを避ける。 さらに、GESCLは、CNNの過度パラメータ化を利用してネットワークを効率的に分散させ、将来のタスクに関係のある非重要フィルタをチューニングする、塑性規則化項を通じてネットワークプラスティックを作成する。 GESCLは、ネットワークを動的に拡張したり、タスクのデータを記憶したりするCLアプローチに比べて、パラメータや計算量が大幅に少ない。 一般的なCLビジョンベンチマークの実験により、GESCLは、分類精度や破滅的な忘れの回避の観点から、全体的なCL性能の観点から、最先端の手法よりも大幅に改善されていることが示されている。

関連論文リスト

• A Good Start Matters: Enhancing Continual Learning with Data-Driven Weight Initialization [15.8696301825572]
  連続訓練されたディープニューラルネットワーク(DNN)は、事前の知識を維持し、活用しながら、新しい概念を迅速に学習する必要がある。 新しく遭遇したカテゴリのウェイトは通常ランダムに行われ、初等訓練の損失(スパイク)と不安定性に繋がる。 ニューラル・コラプス(NC)に触発され,CLにおける学習効率向上のための重み付け初期化戦略を提案する。
  論文  参考訳（メタデータ） (2025-03-09T01:44:22Z)
• Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
  CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。 実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
  論文  参考訳（メタデータ） (2024-11-18T08:20:21Z)
• TS-ACL: Closed-Form Solution for Time Series-oriented Continual Learning [16.270548433574465]
  時系列のクラス増分学習は、破滅的な忘れ物とクラス内のバリエーションの2つの大きな課題に直面している。 そこで, TS-ACLを提案する。これは, 傾きのない閉形式解を利用して, 悲惨な忘れ問題を回避する。 プライバシー保護と効率性も備えている。
  論文  参考訳（メタデータ） (2024-10-21T12:34:02Z)
• Temporal-Difference Variational Continual Learning [77.92320830700797]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Order parameters and phase transitions of continual learning in deep neural networks [6.349503549199403]
  継続学習(CL)により、動物は事前知識を消去することなく新しいタスクを学習することができる。 ニューラルネットワーク(NN)におけるCLは、破滅的な忘れが原因で困難であり、新しい学習は古いタスクのパフォーマンスを低下させる。 本稿では,ネットワークの入出力マッピングがタスク列を学習する際に特徴付ける,深層広帯域NNにおけるCLの統計力学理論を提案する。
  論文  参考訳（メタデータ） (2024-07-14T20:22:36Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)
• Continual Learning with Gated Incremental Memories for sequential data processing [14.657656286730736]
  従来の知識を忘れずに動的で非定常的な環境で学習する能力、あるいは継続学習(CL)は、適応型ソリューションのスケーラブルで信頼性の高いデプロイを可能にする重要な手段である。 本研究では,従来の知識を忘れることなく,入力分布における概念ドリフトに対処できるCLのためのリカレントニューラルネットワーク(RNN)モデルを提案する。
  論文  参考訳（メタデータ） (2020-04-08T16:00:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。