論文の概要: Rethinking Continual Learning with Progressive Neural Collapse

• arxiv url: http://arxiv.org/abs/2505.24254v1
• Date: Fri, 30 May 2025 06:21:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.801212
• Title: Rethinking Continual Learning with Progressive Neural Collapse
• Title（参考訳）: 進歩的神経崩壊による継続的学習の再考
• Authors: Zheng Wang, Wanhao Yu, Li Yang, Sen Lin,
• Abstract要約: 継続的学習(CL)は、タスクの連続を継続的に学習できるエージェントの構築を目指している。 ディープニューラルネットワーク(DNN)は、訓練中にニューラルネットワークと呼ばれる終端状態に収束することが示され、全てのクラスプロトタイプが幾何学的に静的単純等角的タイトフレーム(ETF)を形成する。 CLにおける固定グローバルETFの必要性を完全に排除する新しいフレームワークであるProgressive Neural Collapse (ProNC)を提案する。
• 参考スコア（独自算出の注目度）: 18.616537615728102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual Learning (CL) seeks to build an agent that can continuously learn a sequence of tasks, where a key challenge, namely Catastrophic Forgetting, persists due to the potential knowledge interference among different tasks. On the other hand, deep neural networks (DNNs) are shown to converge to a terminal state termed Neural Collapse during training, where all class prototypes geometrically form a static simplex equiangular tight frame (ETF). These maximally and equally separated class prototypes make the ETF an ideal target for model learning in CL to mitigate knowledge interference. Thus inspired, several studies have emerged very recently to leverage a fixed global ETF in CL, which however suffers from key drawbacks, such as impracticability and limited performance.To address these challenges and fully unlock the potential of ETF in CL, we propose Progressive Neural Collapse (ProNC), a novel framework that completely removes the need of a fixed global ETF in CL. Specifically, ProNC progressively expands the ETF target in a principled way by adding new class prototypes as vertices for new tasks, ensuring maximal separability across all encountered classes with minimal shifts from the previous ETF. We next develop a new CL framework by plugging ProNC into commonly used CL algorithm designs, where distillation is further leveraged to balance between target shifting for old classes and target aligning for new classes. Extensive experiments show that our approach significantly outperforms related baselines while maintaining superior flexibility, simplicity, and efficiency.
• Abstract（参考訳）: CL(Continuous Learning)は、タスクの連続を継続的に学習できるエージェントの構築を目指している。 一方、ディープニューラルネットワーク(DNN)は、トレーニング中にニューラルネットワークと呼ばれる終端状態に収束することが示され、全てのクラスプロトタイプが幾何学的に静的な単純な等角的タイトフレーム(ETF)を形成する。 これらの最大かつ等分離されたクラスプロトタイプは、ETFをCLにおけるモデル学習の理想的なターゲットとし、知識干渉を緩和する。 これらの課題に対処し、CLにおけるETFの可能性を完全に解き放つために、我々はCLにおける固定グローバルETFの必要性を完全に取り除く新しいフレームワークProNC(Progressive Neural Collapse)を提案する。 具体的には、ProNCは、新しいタスクの頂点として新しいクラスプロトタイプを追加し、前のETFから最小限のシフトで遭遇したすべてのクラス間で最大の分離性を確保することで、原則的にETFターゲットを徐々に拡張する。 次に ProNC を一般的な CL アルゴリズムに組み込んで新しい CL フレームワークを開発し,古いクラスに対するターゲットシフトと新しいクラスに対するターゲットアライメントのバランスをとるために蒸留を更に活用する。 大規模な実験により、我々のアプローチは、優れた柔軟性、単純さ、効率を維持しながら、関連するベースラインを著しく上回ります。

関連論文リスト

• Position: Continual Learning Benefits from An Evolving Population over An Unified Model [4.348086726793516]
  本研究では,新しいPCLフレームワークを提案する。 PCLは、ニューラルネットワークアーキテクチャの集団を維持し、進化させることで、継続的学習をアーキテクチャレベルまで拡張する。 PCLは、統一モデルを用いた最先端のリハーサルのないCLメソッドよりも優れている。
  論文  参考訳（メタデータ） (2025-02-10T07:21:44Z)
• LoRanPAC: Low-rank Random Features and Pre-trained Models for Bridging Theory and Practice in Continual Learning [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 理論的に健全で高性能な単純なCL法を設計することで,このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• ECLIPSE: Efficient Continual Learning in Panoptic Segmentation with Visual Prompt Tuning [54.68180752416519]
  パノプティカルセグメンテーション(英: Panoptic segmentation)は、コンピュータビジョンの最先端タスクである。 ECLIPSE と呼ばれる Visual Prompt Tuning をベースとした,新規で効率的なパノプティカルセグメンテーション手法を提案する。 我々のアプローチは、基本モデルのパラメータを凍結し、小さなプロンプト埋め込みだけを微調整することであり、破滅的な忘れ物と塑性の両方に対処する。
  論文  参考訳（メタデータ） (2024-03-29T11:31:12Z)
• Federated Continual Novel Class Learning [68.05835753892907]
  本稿では,グローバルな新規クラス数を正確に推定できるグローバルアライメント学習フレームワークを提案する。 Galは新規クラスの性能を大幅に改善し、精度は5.1%から10.6%に向上した。 Galは、様々な主流のフェデレートラーニングアルゴリズムに新しいクラス発見と学習能力を持たせるのに効果的であることが示されている。
  論文  参考訳（メタデータ） (2023-12-21T00:31:54Z)
• Continual Learners are Incremental Model Generalizers [70.34479702177988]
  本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。 その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。 本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:26:28Z)
• A Neural Span-Based Continual Named Entity Recognition Model [13.982996312057207]
  SpanKLは知識蒸留(KD)による記憶の保存とCL-NERの衝突を防ぐためのマルチラベル予測のためのモデルである。 OntoNotes と Few-NERD から得られた合成CLデータセットの実験により、SpanKL は以前の SoTA よりも多くの点で顕著に優れていることが示された。
  論文  参考訳（メタデータ） (2023-02-23T17:51:29Z)
• Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning [120.53458753007851]
  FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。 我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。 我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-06T18:39:40Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• Online Continual Learning with Contrastive Vision Transformer [67.72251876181497]
  本稿では,オンラインCLの安定性と塑性のトレードオフを改善するために,CVT(Contrastive Vision Transformer)フレームワークを提案する。 具体的には、従来のタスクに関する情報を暗黙的にキャプチャするオンラインCLのための新しい外部アテンション機構を設計する。 学習可能な焦点に基づいて、新しいクラスと過去のクラスの間でのコントラスト学習を再バランスさせ、事前学習した表現を統合化するための焦点コントラスト損失を設計する。
  論文  参考訳（メタデータ） (2022-07-24T08:51:02Z)
• Contextual Classification Using Self-Supervised Auxiliary Models for Deep Neural Networks [6.585049648605185]
  自己監督型自動学習(SSAL)モデルの概念を紹介します。 SSALの目的は、元の教師付き分類タスクから派生した1つ以上の追加目標によって実現される。 SSALモデルは、より解釈しやすい構造化された予測を提供しながら、常に最先端を上回ります。
  論文  参考訳（メタデータ） (2021-01-07T18:41:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。