論文の概要: Scalable Class-Incremental Learning Based on Parametric Neural Collapse

• arxiv url: http://arxiv.org/abs/2512.21845v1
• Date: Fri, 26 Dec 2025 03:34:59 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-12-29 11:56:15.690486
• Title: Scalable Class-Incremental Learning Based on Parametric Neural Collapse
• Title（参考訳）: パラメトリックニューラル崩壊に基づくスケーラブルなクラスインクリメンタルラーニング
• Authors: Chuangxin Zhang, Guangfeng Lin, Enhui Zhao, Kaiyang Liao, Yajun Chen,
• Abstract要約: 増分学習は、新しいデータへの過度な適合や、古いデータの破滅的な忘れなど、しばしば課題に直面する。 パラメトリック・ニューラル・崩壊に基づくスケーラブルなクラスインクリメンタル・ラーニングを提案する。
• 参考スコア（独自算出の注目度）: 5.550140856551579
• License:
• Abstract: Incremental learning often encounter challenges such as overfitting to new data and catastrophic forgetting of old data. Existing methods can effectively extend the model for new tasks while freezing the parameters of the old model, but ignore the necessity of structural efficiency to lead to the feature difference between modules and the class misalignment due to evolving class distributions. To address these issues, we propose scalable class-incremental learning based on parametric neural collapse (SCL-PNC) that enables demand-driven, minimal-cost backbone expansion by adapt-layer and refines the static into a dynamic parametric Equiangular Tight Frame (ETF) framework according to incremental class. This method can efficiently handle the model expansion question with the increasing number of categories in real-world scenarios. Additionally, to counteract feature drift in serial expansion models, the parallel expansion framework is presented with a knowledge distillation algorithm to align features across expansion modules. Therefore, SCL-PNC can not only design a dynamic and extensible ETF classifier to address class misalignment due to evolving class distributions, but also ensure feature consistency by an adapt-layer with knowledge distillation between extended modules. By leveraging neural collapse, SCL-PNC induces the convergence of the incremental expansion model through a structured combination of the expandable backbone, adapt-layer, and the parametric ETF classifier. Experiments on standard benchmarks demonstrate the effectiveness and efficiency of our proposed method. Our code is available at https://github.com/zhangchuangxin71-cyber/dynamic_ ETF2. Keywords: Class incremental learning; Catastrophic forgetting; Neural collapse;Knowledge distillation; Expanded model.
• Abstract（参考訳）: 増分学習は、新しいデータへの過度な適合や、古いデータの破滅的な忘れなど、しばしば課題に直面する。 既存の手法では、古いモデルのパラメータを凍結しながら、新しいタスクのモデルを効果的に拡張することができるが、モジュールとクラスの不整合の特徴的相違をもたらす構造的効率の必要性は無視できる。 これらの課題に対処するため、我々は、要求駆動で最小コストのバックボーン展開を可能にするパラメトリックニューラルネットワーク崩壊(SCL-PNC)に基づくスケーラブルなクラスインクリメンタル学習を提案し、段階的なクラスに応じて静的を動的パラメトリック等角フレーム(ETF)フレームワークに洗練する。 本手法は,実世界のシナリオにおいて,モデルの展開問題とカテゴリ数の増加を効率的に扱うことができる。 さらに、シリアル展開モデルにおける特徴ドリフトに対抗するために、並列拡張フレームワークには、拡張モジュール間で特徴を整合させる知識蒸留アルゴリズムが提供される。 したがって、SCL-PNCは、進化するクラス分布によるクラスアライメントに対処するために動的で拡張可能なETF分類器を設計できるだけでなく、拡張モジュール間の知識蒸留による適応層による特徴の整合性も確保できる。 神経崩壊を利用して、SCL-PNCは、拡張可能なバックボーン、アダプティブ層、パラメトリックETF分類器の構造化組み合わせにより、インクリメンタル展開モデルの収束を誘導する。 標準ベンチマーク実験では,提案手法の有効性と有効性を示す。 私たちのコードはhttps://github.com/zhangchuangxin71-cyber/dynamic_ ETF2で公開されています。 キーワード:段階的な学習、破滅的な忘れ、神経崩壊、知識蒸留、拡張モデル。

関連論文リスト

• Growing Transformers: Modular Composition and Layer-wise Expansion on a Frozen Substrate [1.0152838128195467]
  大規模言語モデル(LLM)をスケールするための一般的なパラダイムは、モノリシックなエンドツーエンドのトレーニングである。 本稿では,トランスフォーマーにおける創発的意味論の原理によって実現された,代替的,建設的なスケーリングパラダイムについて考察する。 私たちはこれを、初期段階の厳密な層凍結とモデルスタック全体の効率的で総合的な微調整を組み合わせた、階層的に構築的な手法で運用します。
  論文  参考訳（メタデータ） (2025-07-08T20:01:15Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [115.79349923044663]
  FSCIL(Few-shot class-incremental Learning)は、限られた例から新しいクラスを段階的に学習することを目的としている。 静的アーキテクチャは固定パラメータ空間に依存して、逐次到着するデータから学習し、現在のセッションに過度に適合する傾向がある。 本研究では,FSCILにおける選択状態空間モデル(SSM)の可能性について検討する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning [38.09011520275557]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに、非定常データストリームから新しいクラスを学ぶためのモデルをトレーニングすることを目的としている。 本稿では、ニューラルネットワークの動作をCILに適応させるニューラルネットワークユニットダイナミクスを調整し、新しい種類のコネクショナリストモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-04T15:47:03Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。