論文の概要: Scalable Class-Incremental Learning Based on Parametric Neural Collapse

• arxiv url: http://arxiv.org/abs/2512.21845v1
• Date: Fri, 26 Dec 2025 03:34:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-29 20:48:42.009245
• Title: Scalable Class-Incremental Learning Based on Parametric Neural Collapse
• Title（参考訳）: パラメトリックニューラル崩壊に基づくスケーラブルなクラスインクリメンタルラーニング
• Authors: Chuangxin Zhang, Guangfeng Lin, Enhui Zhao, Kaiyang Liao, Yajun Chen,
• Abstract要約: 増分学習は、新しいデータへの過度な適合や、古いデータの破滅的な忘れなど、しばしば課題に直面する。 パラメトリック・ニューラル・崩壊に基づくスケーラブルなクラスインクリメンタル・ラーニングを提案する。
• 参考スコア（独自算出の注目度）: 5.550140856551579
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Incremental learning often encounter challenges such as overfitting to new data and catastrophic forgetting of old data. Existing methods can effectively extend the model for new tasks while freezing the parameters of the old model, but ignore the necessity of structural efficiency to lead to the feature difference between modules and the class misalignment due to evolving class distributions. To address these issues, we propose scalable class-incremental learning based on parametric neural collapse (SCL-PNC) that enables demand-driven, minimal-cost backbone expansion by adapt-layer and refines the static into a dynamic parametric Equiangular Tight Frame (ETF) framework according to incremental class. This method can efficiently handle the model expansion question with the increasing number of categories in real-world scenarios. Additionally, to counteract feature drift in serial expansion models, the parallel expansion framework is presented with a knowledge distillation algorithm to align features across expansion modules. Therefore, SCL-PNC can not only design a dynamic and extensible ETF classifier to address class misalignment due to evolving class distributions, but also ensure feature consistency by an adapt-layer with knowledge distillation between extended modules. By leveraging neural collapse, SCL-PNC induces the convergence of the incremental expansion model through a structured combination of the expandable backbone, adapt-layer, and the parametric ETF classifier. Experiments on standard benchmarks demonstrate the effectiveness and efficiency of our proposed method. Our code is available at https://github.com/zhangchuangxin71-cyber/dynamic_ ETF2. Keywords: Class incremental learning; Catastrophic forgetting; Neural collapse;Knowledge distillation; Expanded model.
• Abstract（参考訳）: 増分学習は、新しいデータへの過度な適合や、古いデータの破滅的な忘れなど、しばしば課題に直面する。 既存の手法では、古いモデルのパラメータを凍結しながら、新しいタスクのモデルを効果的に拡張することができるが、モジュールとクラスの不整合の特徴的相違をもたらす構造的効率の必要性は無視できる。 これらの課題に対処するため、我々は、要求駆動で最小コストのバックボーン展開を可能にするパラメトリックニューラルネットワーク崩壊(SCL-PNC)に基づくスケーラブルなクラスインクリメンタル学習を提案し、段階的なクラスに応じて静的を動的パラメトリック等角フレーム(ETF)フレームワークに洗練する。 本手法は,実世界のシナリオにおいて,モデルの展開問題とカテゴリ数の増加を効率的に扱うことができる。 さらに、シリアル展開モデルにおける特徴ドリフトに対抗するために、並列拡張フレームワークには、拡張モジュール間で特徴を整合させる知識蒸留アルゴリズムが提供される。 したがって、SCL-PNCは、進化するクラス分布によるクラスアライメントに対処するために動的で拡張可能なETF分類器を設計できるだけでなく、拡張モジュール間の知識蒸留による適応層による特徴の整合性も確保できる。 神経崩壊を利用して、SCL-PNCは、拡張可能なバックボーン、アダプティブ層、パラメトリックETF分類器の構造化組み合わせにより、インクリメンタル展開モデルの収束を誘導する。 標準ベンチマーク実験では,提案手法の有効性と有効性を示す。 私たちのコードはhttps://github.com/zhangchuangxin71-cyber/dynamic_ ETF2で公開されています。 キーワード:段階的な学習、破滅的な忘れ、神経崩壊、知識蒸留、拡張モデル。

関連論文リスト

• Unlocking Prototype Potential: An Efficient Tuning Framework for Few-Shot Class-Incremental Learning [69.28860905525057]
  FSCIL(Few-shot class-incremental Learning)は、非常に限られたサンプルから新しいクラスを継続的に学習することを目的としている。 本稿では,静的セントロイドを動的に学習可能なコンポーネントに進化させる,効率的なファインチューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-05T03:50:53Z)
• Growing Transformers: Modular Composition and Layer-wise Expansion on a Frozen Substrate [1.0152838128195467]
  大規模言語モデル(LLM)をスケールするための一般的なパラダイムは、モノリシックなエンドツーエンドのトレーニングである。 本稿では,トランスフォーマーにおける創発的意味論の原理によって実現された,代替的,建設的なスケーリングパラダイムについて考察する。 私たちはこれを、初期段階の厳密な層凍結とモデルスタック全体の効率的で総合的な微調整を組み合わせた、階層的に構築的な手法で運用します。
  論文  参考訳（メタデータ） (2025-07-08T20:01:15Z)
• Class-Incremental Learning with CLIP: Adaptive Representation Adjustment and Parameter Fusion [10.322832012497722]
  クラス増分学習(class-incremental learning)は難しい問題であり、目標は、時間とともに増加するクラスからデータを分類できるモデルをトレーニングすることである。 CLIPのような視覚言語で事前訓練されたモデルの進歩により、彼らは優れた一般化能力を示した。 しかし、単にモデルを微調整することで、下流タスクへのさらなる適応は、ひどく忘れてしまう。 事前訓練されたモデルを用いた既存の研究の多くは、モデルが新しい知識を得るとき、古いクラスを忘れることは一様であると仮定している。
  論文  参考訳（メタデータ） (2024-07-19T09:20:33Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [115.79349923044663]
  FSCIL(Few-shot class-incremental Learning)は、限られた例から新しいクラスを段階的に学習することを目的としている。 静的アーキテクチャは固定パラメータ空間に依存して、逐次到着するデータから学習し、現在のセッションに過度に適合する傾向がある。 本研究では,FSCILにおける選択状態空間モデル(SSM)の可能性について検討する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning [38.09011520275557]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに、非定常データストリームから新しいクラスを学ぶためのモデルをトレーニングすることを目的としている。 本稿では、ニューラルネットワークの動作をCILに適応させるニューラルネットワークユニットダイナミクスを調整し、新しい種類のコネクショナリストモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-04T15:47:03Z)
• Dynamic Feature Learning and Matching for Class-Incremental Learning [20.432575325147894]
  CIL(Class-incremental Learning)は,従来のクラスを破滅的に忘れることなく,新しいクラスを学習する方法として登場した。 本稿では,動的特徴学習とマッチング(DFLM)モデルを提案する。 提案手法は既存手法に比べて大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-05-14T12:17:19Z)
• Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
  PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。 タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。 我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
  論文  参考訳（メタデータ） (2024-03-18T17:58:13Z)
• Sparse Modular Activation for Efficient Sequence Modeling [94.11125833685583]
  線形状態空間モデルと自己アテンション機構を組み合わせた最近のモデルでは、様々なシーケンスモデリングタスクにおいて顕著な結果が示されている。 現在のアプローチでは、アテンションモジュールを静的かつ均一に入力シーケンスのすべての要素に適用し、最適以下の品質効率のトレードオフをもたらす。 SMA(Sparse Modular Activation)は,ニューラルネットワークが配列要素のサブモジュールを異なる方法でスパースに活性化する機構である。
  論文  参考訳（メタデータ） (2023-06-19T23:10:02Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。