論文の概要: CLARE: Scalable Class-Incremental Continual Learning via a Sparsity-Based Framework

• arxiv url: http://arxiv.org/abs/2609.17026v1
• Date: Tue, 15 Sep 2026 11:33:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.477051
• Title: CLARE: Scalable Class-Incremental Continual Learning via a Sparsity-Based Framework
• Title（参考訳）: CLARE: 分散ベースのフレームワークによるスケーラブルなクラスインクリメンタル学習
• Abstract要約: 継続的な学習は、新しい知識の学習と以前に学んだ知識の保持とをバランスさせなければならない。 既存の方法は、多くのタスクで逐次訓練された場合、スケーラビリティのボトルネックを示す。 スパース微調整が完全微調整に匹敵する性能を発揮するという証拠に触発された本研究では,スペーサ性駆動型連続学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 42.31039781559425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning must balance the learning of new knowledge with the retention of previously learned knowledge to incrementally learn tasks from a data stream without catastrophic forgetting. While leveraging pretrained models has significantly advanced continual learning, existing methods exhibit a scalability bottleneck when trained sequentially on many tasks, suffering from performance degradation due to inter-task interference and loss of plasticity. Inspired by evidence that sparse fine-tuning achieves performance comparable to full fine-tuning, this paper presents a novel sparsity-driven continual learning framework. Our continual learning method, termed CLARE, operates in two stages: it first identifies a sparse, task-critical parameter mask via a sparsity-inducing objective, then performs mask-constrained fine-tuning by only optimizing parameters selected by the mask. This two-stage sparse adapter mechanism enables all tasks to be accumulated within a shared adapter space while reducing destructive interference across tasks. Extensive experiments demonstrate the scalability of CLARE. On the long task-sequence benchmark Omnibenchmark-1k, CLARE outperforms strong baselines in final accuracy by a large margin, e.g, improving EASE by 4.64% and 13.34% after learning 100 tasks, respectively.
• Abstract（参考訳）: 絶え間なく忘れることなくデータストリームからタスクを漸進的に学習するには、新しい知識の学習と、以前に学んだ知識の保持とのバランスを保たなければならない。 事前学習モデルの活用は、継続学習が著しく進んでいるが、既存の手法では、タスク間の干渉や可塑性の喪失によるパフォーマンス劣化に悩まされ、多くのタスクを逐次訓練するとスケーラビリティのボトルネックが生じる。 スパース微調整が完全微調整に匹敵する性能を発揮するという証拠に触発された本研究では,スペーサ性駆動型連続学習フレームワークを提案する。 CLAREと呼ばれる連続学習法は、まず、疎度誘導目的によってスパースでタスククリティカルなパラメータマスクを識別し、次にマスクが選択したパラメータのみを最適化してマスク制約の微調整を行う。 この2段階スパースアダプタ機構により、タスク間の破壊的干渉を低減しつつ、すべてのタスクを共有アダプタ空間内に蓄積することができる。 大規模な実験はCLAREのスケーラビリティを実証している。 長いタスクシーケンスベンチマークであるOmnibenchmark-1kでは、CLAREは100タスク学習後のEASEを4.64%、13.34%改善するなど、最終的な精度で強いベースラインを上回ります。

関連論文リスト

• Randomized Neural Network with Adaptive Forward Regularization for Online Task-free Class Incremental Learning [16.323995111105884]
  本稿では,前向き正則化(-F)を備えたニューラルネットワーク(NN)を提案する。 調整可能な前方正規化(-kF)を用いたアンサンブル深部乱数ベクトル関数型リンクネットワーク(edRVFL)のアルゴリズムを導出する。 EDRVFL-kFは、1パスのクローズドフォームのインクリメンタルアップデートと可変学習率を生成し、過去のリプレイや破滅的な忘れを効果的に回避する。 プラグアンドプレイのedRVFL-kF-Bayesに改良を加え、複数のサブラーナーのすべてのハードkを自己適応的に決定できるようにする。
  論文  参考訳（メタデータ） (2025-10-24T11:50:13Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
  大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。 UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-05-21T15:53:28Z)
• Sculpting Subspaces: Constrained Full Fine-Tuning in LLMs for Continual Learning [19.27175827358111]
  大規模言語モデル(LLM)における継続的な学習は破滅的な忘れがちである。 適応特異値分解(SVD)を利用した連続的完全微調整手法を提案する。 我々は,Encoder-decoder (T5-Large) モデルとdecoder-only (LLaMA-2 7B) モデルの両方を用いて,標準連続学習ベンチマークを広範囲に評価した。
  論文  参考訳（メタデータ） (2025-04-09T17:59:42Z)
• A Plasticity-Aware Method for Continual Self-Supervised Learning in Remote Sensing [6.0163252984457145]
  リモートセンシング(RS)における連続自己教師学習(CSSL)手法の注目度が高まっている。 既存のCSSLメソッドは、新しいタスクを学習しながら、破滅的な忘れを防ぐことに重点を置いている。 本稿では,タスクの逐次学習を目的とした新しいCSSL手法を提案する。
  論文  参考訳（メタデータ） (2025-03-31T13:42:06Z)
• Sample Compression for Self Certified Continual Learning [4.354838732412981]
  連続学習アルゴリズムは、一連のタスクから学習することを目的としており、トレーニング分布を静止しないものにしている。 提案手法はCoP2L(Continual Pick-to-Learn)と呼ばれ,各タスクの最も代表的なサンプルを効率的に保持することができる。
  論文  参考訳（メタデータ） (2025-03-13T16:05:56Z)
• Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Towards Plastic and Stable Exemplar-Free Incremental Learning: A Dual-Learner Framework with Cumulative Parameter Averaging [12.168402195820649]
  In this proposed a Dual-Learner framework with Cumulative。 平均化(DLCPA) DLCPA は Task-IL と Class-IL の両方の設定において,最先端の既定ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-28T08:48:44Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。