論文の概要: Enhancing Pre-Trained Model-Based Class-Incremental Learning through Neural Collapse

• arxiv url: http://arxiv.org/abs/2504.18437v1
• Date: Fri, 25 Apr 2025 15:48:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.829109
• Title: Enhancing Pre-Trained Model-Based Class-Incremental Learning through Neural Collapse
• Title（参考訳）: ニューラルネットワークによる事前学習モデルに基づくクラスインクリメンタル学習の強化
• Authors: Kun He, Zijian Song, Shuoxi Zhang, John E. Hopcroft,
• Abstract要約: CIL(Class-Incremental Learning)は、現実世界のアプリケーションにとって重要な機能である。 プレトレーニングモデル(PTM)の最近の進歩は、CILの分野を著しく進歩させてきた。 ニューラル崩壊レンズ(NC)を用いたPTMベースのCILにおける特徴進化のモデリング手法を提案する。
• 参考スコア（独自算出の注目度）: 9.679847165385667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class-Incremental Learning (CIL) is a critical capability for real-world applications, enabling learning systems to adapt to new tasks while retaining knowledge from previous ones. Recent advancements in pre-trained models (PTMs) have significantly advanced the field of CIL, demonstrating superior performance over traditional methods. However, understanding how features evolve and are distributed across incremental tasks remains an open challenge. In this paper, we propose a novel approach to modeling feature evolution in PTM-based CIL through the lens of neural collapse (NC), a striking phenomenon observed in the final phase of training, which leads to a well-separated, equiangular feature space. We explore the connection between NC and CIL effectiveness, showing that aligning feature distributions with the NC geometry enhances the ability to capture the dynamic behavior of continual learning. Based on this insight, we introduce Neural Collapse-inspired Pre-Trained Model-based CIL (NCPTM-CIL), a method that dynamically adjusts the feature space to conform to the elegant NC structure, thereby enhancing the continual learning process. Extensive experiments demonstrate that NCPTM-CIL outperforms state-of-the-art methods across four benchmark datasets. Notably, when initialized with ViT-B/16-IN1K, NCPTM-CIL surpasses the runner-up method by 6.73% on VTAB, 1.25% on CIFAR-100, and 2.5% on OmniBenchmark.
• Abstract（参考訳）: クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、現実世界のアプリケーションにとって重要な機能であり、学習システムが新しいタスクに適応し、以前のタスクからの知識を維持しながら利用できる。 プレトレーニングモデル(PTM)の最近の進歩はCILの分野を大きく進歩させ、従来の手法よりも優れた性能を示している。 しかしながら、機能がどのように進化し、インクリメンタルなタスクに分散するかを理解することは、依然としてオープンな課題である。 本稿では、トレーニングの最終段階で観察される顕著な現象である神経崩壊レンズ(NC)を用いて、PTMベースのCILにおける特徴進化をモデル化するための新しいアプローチを提案する。 NCとCILの有効性の関連について検討し、NC幾何と特徴分布の整合が連続学習の動的挙動を捉える能力を高めることを示した。 この知見に基づき,ニューラルネットワークを用いた事前学習モデルベースCIL (NCPTM-CIL) を導入する。 大規模な実験により、NCPTM-CILは4つのベンチマークデータセットで最先端のメソッドより優れていることが示された。 特に、VT-B/16-IN1Kで初期化されると、NCPTM-CILはVTABで6.73%、CIFAR-100で1.25%、OmniBenchmarkで2.5%を突破する。

関連論文リスト

• Stochastic Engrams for Efficient Continual Learning with Binarized Neural Networks [4.014396794141682]
  我々は,メタプラスティック二項化ニューラルネットワーク(mBNN)のゲーティング機構として,可塑性活性化エングラムを統合した新しいアプローチを提案する。 以上の結果から, (A) トレードオフに対する安定性の向上, (B) メモリ集中度低下, (C) 双項化アーキテクチャの性能向上が示された。
  論文  参考訳（メタデータ） (2025-03-27T12:21:00Z)
• PTMs-TSCIL Pre-Trained Models Based Class-Incremental Learning [7.784244204592032]
  時系列データのためのクラスインクリメンタルラーニング(CIL)は、新たな知識獲得のための破滅的な忘れと可塑性に対する安定性のバランスをとる上で、課題に直面している。 PTMを用いた時系列クラスインクリメンタルラーニング(TSCIL)の第1回研究について紹介する。
  論文  参考訳（メタデータ） (2025-03-10T10:27:21Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [113.89327264634984]
  FSCIL(Few-shot class-incremental Learning)は、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。 従来の手法では、固定パラメータ空間に依存する静的適応を広く採用し、逐次到着するデータから学習する。 本稿では、動的適応のための中間特徴に基づいてプロジェクションパラメータを動的に調整する2つの選択型SSMプロジェクタを提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning [38.09011520275557]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに、非定常データストリームから新しいクラスを学ぶためのモデルをトレーニングすることを目的としている。 本稿では、ニューラルネットワークの動作をCILに適応させるニューラルネットワークユニットダイナミクスを調整し、新しい種類のコネクショナリストモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-04T15:47:03Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [65.57123249246358]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• Revisiting Class-Incremental Learning with Pre-Trained Models: Generalizability and Adaptivity are All You Need [84.3507610522086]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに新しいクラスに適応することを目的としている。 近年の事前訓練は大きな進歩を遂げており、CILには膨大な事前訓練モデル(PTM)が利用できるようになった。 CILの中核となる要素は、モデル更新の適応性と知識伝達の一般化性である。
  論文  参考訳（メタデータ） (2023-03-13T17:59:02Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Understanding and Improving Transfer Learning of Deep Models via Neural Collapse [37.483109067209504]
  分類問題に対する神経崩壊(NC)と伝達学習の関係について検討する。 機能崩壊と下流のパフォーマンスには強い相関関係がある。 提案手法は, 微調整パラメータを90%以上削減しつつ, 優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-12-23T08:48:34Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。