論文の概要: EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2506.12351v1
• Date: Sat, 14 Jun 2025 05:19:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:45.901483
• Title: EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning
• Title（参考訳）: EKPC: 授業増分学習のための弾性的知識保存と補償
• Authors: Huaijie Wang, De Cheng, Lingfeng He, Yan Li, Jie Li, Nannan Wang, Xinbo Gao,
• Abstract要約: クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
• 参考スコア（独自算出の注目度）: 53.88000987041739
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Class-Incremental Learning (CIL) aims to enable AI models to continuously learn from sequentially arriving data of different classes over time while retaining previously acquired knowledge. Recently, Parameter-Efficient Fine-Tuning (PEFT) methods, like prompt pool-based approaches and adapter tuning, have shown great attraction in CIL. However, these methods either introduce additional parameters that increase memory usage, or rely on rigid regularization techniques which reduce forgetting but compromise model flexibility. To overcome these limitations, we propose the Elastic Knowledge Preservation and Compensation (EKPC) method, integrating Importance-aware Parameter Regularization (IPR) and Trainable Semantic Drift Compensation (TSDC) for CIL. Specifically, the IPR method assesses the sensitivity of network parameters to prior tasks using a novel parameter-importance algorithm. It then selectively constrains updates within the shared adapter according to these importance values, thereby preserving previously acquired knowledge while maintaining the model's flexibility. However, it still exhibits slight semantic differences in previous knowledge to accommodate new incremental tasks, leading to decision boundaries confusion in classifier. To eliminate this confusion, TSDC trains a unified classifier by compensating prototypes with trainable semantic drift. Extensive experiments on five CIL benchmarks demonstrate the effectiveness of the proposed method, showing superior performances to existing state-of-the-art methods.
• Abstract（参考訳）: クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルが、以前取得した知識を維持しながら、異なるクラスのシーケンシャルに到着したデータから継続的に学習できるようにすることを目的としている。 近年,パラメータ効率の良いファインチューニング(PEFT)手法がCILにおいて大きな注目を集めている。 しかし、これらの手法は、メモリ使用量を増加させる追加のパラメータを導入するか、あるいは忘れられたりモデルの柔軟性を損なうような厳格な正規化技術に頼るかのいずれかである。 これらの制限を克服するため、我々は、CILのためのImportance-Aware Parameter Regularization (IPR)とTrainable Semantic Drift Compensation (TSDC)を統合したElastic Knowledge Preservation and Compensation (EKPC)法を提案する。 具体的には、新しいパラメータ重要度アルゴリズムを用いて、前のタスクに対するネットワークパラメータの感度を評価する。 そして、これらの重要な値に従って共有アダプタ内で更新を選択的に制限し、それによって、モデルの柔軟性を維持しながら、以前に取得した知識を保存する。 しかし、新しい漸進的なタスクに対応するために、以前の知識に少し意味的な違いがあるため、分類器における決定境界の混乱が生じる。 この混乱を避けるため、TSDCは、訓練可能なセマンティックドリフトでプロトタイプを補償することで統一された分類器を訓練する。 5つのCILベンチマークにおいて、提案手法の有効性を実証し、既存の最先端手法よりも優れた性能を示す。

関連論文リスト

• PEARL: Input-Agnostic Prompt Enhancement with Negative Feedback Regulation for Class-Incremental Learning [17.819582979803286]
  クラスインクリメンタルラーニング(CIL)は,従来学習されていたクラスを忘れずに,新しいカテゴリを分類システムに継続的に導入することを目的としている。 CILでは、事前学習した知識に合わせてデータ分散を調整できるため、プロンプト学習が採用されている。 本稿では,素早い学習の観点から,既存の手法の限界を批判的に検討する。
  論文  参考訳（メタデータ） (2024-12-14T17:13:30Z)
• Sparse Orthogonal Parameters Tuning for Continual Learning [34.462967722928724]
  事前学習モデル(PTM)に基づく連続学習手法が近年注目されている。 本稿では,SoTU(Sparse Orthogonal Parameters TUning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T05:19:09Z)
• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。