論文の概要: Breaking Forgetting: Training-Free Few-Shot Class-Incremental Learning via Conditional Diffusion

• arxiv url: http://arxiv.org/abs/2511.18516v1
• Date: Sun, 23 Nov 2025 16:13:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:24.877627
• Title: Breaking Forgetting: Training-Free Few-Shot Class-Incremental Learning via Conditional Diffusion
• Title（参考訳）: 留意点:条件付き拡散を通した学習自由なFew-Shotクラスインクリメンタルラーニング
• Authors: Haidong Kang, Ketong Qian, Yi Lu,
• Abstract要約: 本研究では,従来の勾配更新処理を拡散に基づく生成遷移に置き換える条件拡散駆動型FSCILフレームワークを提案する。 また,大規模言語モデルによって自動生成される自然言語記述に視覚的特徴を統合するマルチモーダル学習戦略を導入する。
• 参考スコア（独自算出の注目度）: 2.1735063293253565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efforts to overcome catastrophic forgetting in Few-Shot Class-Incremental Learning (FSCIL) have primarily focused on developing more effective gradient-based optimization strategies. In contrast, little attention has been paid to the training cost explosion that inevitably arises as the number of novel classes increases, a consequence of relying on gradient learning even under extreme data scarcity. More critically, since FSCIL typically provides only a few samples for each new class, gradient-based updates not only induce severe catastrophic forgetting on base classes but also hinder adaptation to novel ones. This paper seeks to break this long-standing limitation by asking: Can we design a training-free FSCIL paradigm that entirely removes gradient optimization? We provide an affirmative answer by uncovering an intriguing connection between gradient-based optimization and the Conditional Diffusion process. Building on this observation, we propose a Conditional Diffusion-driven FSCIL (CD-FSCIL) framework that substitutes the conventional gradient update process with a diffusion-based generative transition, enabling training-free incremental adaptation while effectively mitigating forgetting. Furthermore, to enhance representation under few-shot constraints, we introduce a multimodal learning strategy that integrates visual features with natural language descriptions automatically generated by Large Language Models (LLMs). This synergy substantially alleviates the sample scarcity issue and improves generalization across novel classes. Extensive experiments on mainstream FSCIL benchmarks demonstrate that our method not only achieves state-of-the-art performance but also drastically reduces computational and memory overhead, marking a paradigm shift toward training-free continual adaptation.
• Abstract（参考訳）: FSCIL(Few-Shot Class-Incremental Learning)における破滅的な忘れを克服する努力は、より効果的な勾配に基づく最適化戦略の開発に重点を置いている。 対照的に、新しいクラスが増えていくにつれて必然的に発生するトレーニングコストの爆発には、極度のデータ不足の下でも勾配学習に依存する結果にほとんど注意が払われていない。 より重要なことは、FSCILは一般的に、新しいクラスごとに少数のサンプルしか提供しないため、勾配ベースの更新は、基礎クラスで深刻な破滅的な忘れを誘発するだけでなく、新しいクラスへの適応を妨げる。 我々は、勾配最適化を完全に排除するトレーニング不要なFSCILパラダイムを設計できますか? 本稿では,勾配に基づく最適化と条件拡散プロセスとの興味深い関係を明らかにすることで,肯定的な回答を提供する。 そこで本研究では,従来の勾配更新処理を拡散型生成遷移に置き換えた条件拡散駆動型FSCIL (CD-FSCIL) フレームワークを提案する。 さらに,言語モデル(LLM)によって自動生成される自然言語記述に視覚的特徴を統合するマルチモーダル学習戦略を導入する。 このシナジーは、サンプル不足の問題を大幅に軽減し、新しいクラス間の一般化を改善する。 FSCILベンチマークの大規模な実験により、我々の手法は最先端の性能を達成するだけでなく、計算とメモリのオーバーヘッドを大幅に減らし、トレーニング不要な連続的な適応へのパラダイムシフトを図っている。

関連論文リスト

• SPEAR++: Scaling Gradient Inversion via Sparsely-Used Dictionary Learning [48.41770886055744]
  Federated Learningは最近、現実世界のシナリオへのデプロイが増えている。 いわゆる勾配反転攻撃の導入は、プライバシー保護特性に挑戦している。 本稿では,ReLU活性化を伴う線形層の勾配の理論的解析に基づくSPEARを紹介する。 新たな攻撃であるSPEAR++は、DPノイズに対する堅牢性やFedAvgアグリゲーションなど、SPEARの望ましい特性をすべて保持しています。
  論文  参考訳（メタデータ） (2025-10-28T09:06:19Z)
• CurES: From Gradient Analysis to Efficient Curriculum Learning for Reasoning LLMs [53.749193998004166]
  カリキュラム学習は,大規模言語モデルの学習効率を高める上で重要な役割を担っている。 収束を加速し,計算オーバーヘッドを最小限に抑えるためにベイズ後続推定を用いた効率的な学習法であるCurESを提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:41:27Z)
• Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
  既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
  論文  参考訳（メタデータ） (2025-02-10T17:57:15Z)
• AdaRankGrad: Adaptive Gradient-Rank and Moments for Memory-Efficient LLMs Training and Fine-Tuning [9.51289606759621]
  大規模言語モデル(LLM)の訓練と微調整には、メモリと計算要求に関する課題が伴う。 低ランク適応(LoRA)など、これらの課題に対処する様々な技術が開発されている。 トレーニングが進むにつれて、推定勾配のランクが徐々に低下する現象に着想を得た新しい手法を導入する。
  論文  参考訳（メタデータ） (2024-10-23T13:53:26Z)
• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)
• Sparse Training for Federated Learning with Regularized Error Correction [9.852567834643292]
  Federated Learning(FL)は、ディープニューラルネットワーク(DNN)モデルをトレーニングする上で大きなメリットがあるため、大きな関心を集めている。 FLAREは、FLプロセスへの埋め込みを正規化した更新モデルの累積引き込みによる新しいスパーストレーニング手法を提案する。 FLAREの性能は、多種多様な複雑なモデルに関する広範な実験を通じて検証され、顕著なスパーシリティレベル(現在の最先端の10倍以上の)を達成するとともに、精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-12-21T12:36:53Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。