論文の概要: Mixture of Noise for Pre-Trained Model-Based Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2509.16738v3
• Date: Wed, 24 Sep 2025 11:22:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 14:09:11.231239
• Title: Mixture of Noise for Pre-Trained Model-Based Class-Incremental Learning
• Title（参考訳）: 事前学習モデルに基づくクラスインクリメンタル学習のための雑音の混合
• Authors: Kai Jiang, Zhengyan Shi, Dell Zhang, Hongyuan Zhang, Xuelong Li,
• Abstract要約: クラスインクリメンタルラーニング(CIL)は,旧来の知識を維持しつつ,新たなカテゴリを継続的に学習することを目的としている。 バックボーンに軽量な微調整を適用する既存のアプローチは、依然としてドリフトを誘発する。 バックボーン一般化の劣化を軽減し,新しいタスクを適応させることを目的として,Mixture of Noise (Min)を提案する。
• 参考スコア（独自算出の注目度）: 59.635264288605946
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Class Incremental Learning (CIL) aims to continuously learn new categories while retaining the knowledge of old ones. Pre-trained models (PTMs) show promising capabilities in CIL. However, existing approaches that apply lightweight fine-tuning to backbones still induce parameter drift, thereby compromising the generalization capability of pre-trained models. Parameter drift can be conceptualized as a form of noise that obscures critical patterns learned for previous tasks. However, recent researches have shown that noise is not always harmful. For example, the large number of visual patterns learned from pre-training can be easily abused by a single task, and introducing appropriate noise can suppress some low-correlation features, thus leaving a margin for future tasks. To this end, we propose learning beneficial noise for CIL guided by information theory and propose Mixture of Noise (Min), aiming to mitigate the degradation of backbone generalization from adapting new tasks. Specifically, task-specific noise is learned from high-dimension features of new tasks. Then, a set of weights is adjusted dynamically for optimal mixture of different task noise. Finally, Min embeds the beneficial noise into the intermediate features to mask the response of inefficient patterns. Extensive experiments on six benchmark datasets demonstrate that Min achieves state-of-the-art performance in most incremental settings, with particularly outstanding results in 50-steps incremental settings. This shows the significant potential for beneficial noise in continual learning. Code is available at https://github.com/ASCIIJK/MiN-NeurIPS2025.
• Abstract（参考訳）: クラスインクリメンタルラーニング(CIL)は,旧来の知識を維持しつつ,新たなカテゴリを継続的に学習することを目的としている。 事前訓練されたモデル(PTM)は、CILで有望な能力を示す。 しかし、バックボーンに軽量な微調整を適用した既存のアプローチは、パラメータドリフトを誘導し、事前訓練されたモデルの一般化能力を損なう。 パラメータドリフトは、以前のタスクで学んだ重要なパターンを隠蔽するノイズの一種として概念化することができる。 しかし、近年の研究では、騒音は必ずしも有害ではないことが示されている。 例えば、事前学習から学んだ多くの視覚パターンは、単一のタスクによって簡単に悪用され、適切なノイズを導入することで、いくつかの低相関特性を抑えることができ、将来のタスクのマージンを残すことができる。 そこで本稿では,情報理論によって導かれるCILのための有益雑音の学習を提案し,新しいタスクへの適応からバックボーン一般化の劣化を軽減することを目的としたMixture of Noise (Min)を提案する。 具体的には、タスク固有のノイズは、新しいタスクの高次元特徴から学習される。 そして、異なるタスクノイズの最適な混合のために、一連の重みを動的に調整する。 最後にMinは、有益なノイズを中間機能に埋め込んで、非効率なパターンの応答を隠蔽する。 6つのベンチマークデータセットに対する大規模な実験は、Minがほとんどのインクリメンタルな設定で最先端のパフォーマンスを達成していることを示し、特に50ステップのインクリメンタルな設定で顕著な結果が得られた。 これは連続学習における有益雑音の有意義な可能性を示している。 コードはhttps://github.com/ASCIIJK/MiN-NeurIPS2025で公開されている。

関連論文リスト

• Noise-Tolerant Coreset-Based Class Incremental Continual Learning [0.6486052012623045]
  本研究は、CIL(Class-Incremental Learning)におけるラベルノイズとインスタンスノイズに焦点を当てている。 一般的な加法的雑音脅威モデルの下で,非相関なインスタンスノイズに対する手法の頑健性に対する新たな境界を導出する。 既存のメモリベースCLはロバストではないが,提案手法は分類精度の最大化に有意な改善を示す。
  論文  参考訳（メタデータ） (2025-04-23T14:34:20Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。