論文の概要: Tripartite Weight-Space Ensemble for Few-Shot Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2506.15720v1
• Date: Wed, 04 Jun 2025 01:41:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-29 09:28:14.793556
• Title: Tripartite Weight-Space Ensemble for Few-Shot Class-Incremental Learning
• Title（参考訳）: クラスインクリメンタル学習のための三部重み空間アンサンブル
• Authors: Juntae Lee, Munawar Hayat, Sungrack Yun,
• Abstract要約: FSCIL(Few-shot class incremental learning)は、いくつかのトレーニング例だけで、新しい概念の継続的な学習を可能にする。 最近の傾向は、モデルの分類ヘッドから表現の学習を解き放つのが典型的である。 破滅的な忘れと過度に適合する問題を効果的に解決する新しいFSCIL法を提案する。
• 参考スコア（独自算出の注目度）: 30.111708221388813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Few-shot class incremental learning (FSCIL) enables the continual learning of new concepts with only a few training examples. In FSCIL, the model undergoes substantial updates, making it prone to forgetting previous concepts and overfitting to the limited new examples. Most recent trend is typically to disentangle the learning of the representation from the classification head of the model. A well-generalized feature extractor on the base classes (many examples and many classes) is learned, and then fixed during incremental learning. Arguing that the fixed feature extractor restricts the model's adaptability to new classes, we introduce a novel FSCIL method to effectively address catastrophic forgetting and overfitting issues. Our method enables to seamlessly update the entire model with a few examples. We mainly propose a tripartite weight-space ensemble (Tri-WE). Tri-WE interpolates the base, immediately previous, and current models in weight-space, especially for the classification heads of the models. Then, it collaboratively maintains knowledge from the base and previous models. In addition, we recognize the challenges of distilling generalized representations from the previous model from scarce data. Hence, we suggest a regularization loss term using amplified data knowledge distillation. Simply intermixing the few-shot data, we can produce richer data enabling the distillation of critical knowledge from the previous model. Consequently, we attain state-of-the-art results on the miniImageNet, CUB200, and CIFAR100 datasets.
• Abstract（参考訳）: FSCIL(Few-shot class incremental learning)は、いくつかのトレーニング例だけで、新しい概念の継続的な学習を可能にする。 FSCILでは、モデルは大幅に更新され、以前の概念を忘れ、限られた新しい例に過度に適合する傾向にある。 最近の傾向は、典型的にはモデルの分類の先頭から表現の学習を解き放つことである。 基本クラス(多くの例と多くのクラス)上のよく一般化された特徴抽出器が学習され、インクリメンタルラーニング中に固定される。 固定特徴抽出器がモデルの新しいクラスへの適応性を制限することを示唆し、破滅的な忘れと過度に適合する問題を効果的に解決する新しいFSCIL法を提案する。 我々の方法では、いくつかの例でモデル全体をシームレスに更新できる。 主に三部構成の重量空間アンサンブル(Tri-WE)を提案する。 Tri-WEは、特にモデルの分類ヘッドに対して、重量空間におけるベース、即時前のモデル、および現在のモデルを補間する。 そして、ベースモデルと以前のモデルからの知識を協調的に保持する。 さらに,少ないデータから従来のモデルから一般化表現を蒸留する際の課題も認識している。 したがって、増幅データ知識蒸留を用いた正規化損失項を提案する。 数ショットのデータをインターミキシングするだけで、以前のモデルから重要な知識を蒸留できるよりリッチなデータを生成することができる。 その結果、MiniImageNet、CUB200、CIFAR100データセットの最先端結果が得られた。

関連論文リスト

• Calibrating Higher-Order Statistics for Few-Shot Class-Incremental Learning with Pre-trained Vision Transformers [12.590571371294729]
  FSCIL(Few-shot class-incremental Learning)は、学習済みのクラスを忘れずに、非常に少ないデータ(5つのサンプル)から新しいクラスにモデルを適応することを目的としている。 マルチショットCIL(MSCIL)の最近の研究は、事前訓練されたモデルを利用して、忘れを減らし、より優れた可塑性を実現する。 私たちは、大規模なデータセットで事前トレーニングされたViTモデルを数ショット設定で使用しています。
  論文  参考訳（メタデータ） (2024-04-09T21:12:31Z)
• Class incremental learning with probability dampening and cascaded gated classifier [4.285597067389559]
  本稿では, Margin Dampening と Cascaded Scaling という新たな漸進正規化手法を提案する。 1つ目は、ソフト制約と知識蒸留のアプローチを組み合わせて、過去の知識を保存し、新しいパターンを忘れることを可能にします。 提案手法は,複数のベンチマークにおいて,確立されたベースラインで良好に動作することを示す。
  論文  参考訳（メタデータ） (2024-02-02T09:33:07Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。 しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• CILIATE: Towards Fairer Class-based Incremental Learning by Dataset and Training Refinement [20.591583747291892]
  我々は、CILがデータセットとアルゴリズムのバイアスの両方に悩まされていることを示す。 本稿では,CILにおけるデータセットとアルゴリズムバイアスを両立させる新しいフレームワークCILIATEを提案する。 CILIATEは最先端の手法と比較してCILの公正性を17.03%、22.46%、31.79%改善している。
  論文  参考訳（メタデータ） (2023-04-09T12:10:39Z)
• Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
  CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。 我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。 提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
  論文  参考訳（メタデータ） (2022-04-07T17:58:07Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• Partial Is Better Than All: Revisiting Fine-tuning Strategy for Few-shot Learning [76.98364915566292]
  一般的なプラクティスは、まずベースセット上でモデルをトレーニングし、その後、微調整によって新しいクラスに移行することである。 本稿では,基本モデル内の特定の層を凍結あるいは微調整することにより,部分的知識の伝達を提案する。 提案手法の有効性を実証するために, CUB と mini-ImageNet の広範な実験を行った。
  論文  参考訳（メタデータ） (2021-02-08T03:27:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。