論文の概要: CD^2: Constrained Dataset Distillation for Few-Shot Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2601.08519v1
• Date: Tue, 13 Jan 2026 13:01:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:19.20554
• Title: CD^2: Constrained Dataset Distillation for Few-Shot Class-Incremental Learning
• Title（参考訳）: CD^2: Few-Shot Class-Incremental Learningのための制約付きデータセット蒸留
• Authors: Kexin Bao, Daichi Zhang, Hansong Zhang, Yong Li, Yutao Yue, Shiming Ge,
• Abstract要約: FSCIL (Few-shot class-incremental learning) は一般大衆から注目されている。 我々は、FSCILを促進するために textbfConstrained textbfDataset textbfDistillation (textbfCD$2$) というフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 24.299542011394298
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Few-shot class-incremental learning (FSCIL) receives significant attention from the public to perform classification continuously with a few training samples, which suffers from the key catastrophic forgetting problem. Existing methods usually employ an external memory to store previous knowledge and treat it with incremental classes equally, which cannot properly preserve previous essential knowledge. To solve this problem and inspired by recent distillation works on knowledge transfer, we propose a framework termed \textbf{C}onstrained \textbf{D}ataset \textbf{D}istillation (\textbf{CD$^2$}) to facilitate FSCIL, which includes a dataset distillation module (\textbf{DDM}) and a distillation constraint module~(\textbf{DCM}). Specifically, the DDM synthesizes highly condensed samples guided by the classifier, forcing the model to learn compacted essential class-related clues from a few incremental samples. The DCM introduces a designed loss to constrain the previously learned class distribution, which can preserve distilled knowledge more sufficiently. Extensive experiments on three public datasets show the superiority of our method against other state-of-the-art competitors.
• Abstract（参考訳）: FSCIL (Few-shot class-incremental learning) は、いくつかのトレーニングサンプルで継続的に分類を行うために、一般から大きな注目を集めている。 既存のメソッドは通常、外部メモリを使用して、以前の知識を保存し、それをインクリメンタルなクラスで平等に扱う。 この問題を解決するために、知識伝達に関する最近の蒸留作業から着想を得たフレームワークとして、データセット蒸留モジュール (\textbf{DDM}) と蒸留制約モジュール~ (\textbf{DCM}) を含むFSCILの促進を目的とした、知識伝達に関するフレームワークである \textbf{C}onstrained \textbf{D}ataset \textbf{D}istillation (\textbf{CD$^2$}) を提案する。 具体的には、DDMは、分類器によって導かれる高度に凝縮されたサンプルを合成し、いくつかのインクリメンタルなサンプルからコンパクト化されたクラス関連の手がかりを学習せざるを得ない。 DCMは、以前に学習したクラス分布を制限するように設計された損失を導入し、蒸留した知識をより十分に保存することができる。 3つの公開データセットに対する大規模な実験は、我々の手法が他の最先端の競合相手よりも優れていることを示している。

関連論文リスト

• On Distilling the Displacement Knowledge for Few-Shot Class-Incremental Learning [17.819582979803286]
  FSCIL(Few-shot Class-Incremental Learning)は、データ分散の進化と、現実のシナリオにおけるデータ取得の難しさに対処する。 FSCILでよく見られる破滅的な忘れ事に対処するために、知識の蒸留は、学習されたデータ分布から知識を維持する方法として用いられる。
  論文  参考訳（メタデータ） (2024-12-15T02:10:18Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• f-Divergence Minimization for Sequence-Level Knowledge Distillation [23.513372304624486]
  知識蒸留 (KD) は、大きなモデルから小さなモデルへ知識を伝達する過程である。 一般化f分割関数の最小化としてシーケンスレベルの知識蒸留を定式化するf-DISTILLフレームワークを提案する。 4つのデータセットで実験したところ、我々の手法は既存のKD手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-07-27T20:39:06Z)
• Large-scale Pre-trained Models are Surprisingly Strong in Incremental Novel Class Discovery [76.63807209414789]
  我々は,クラスiNCDにおける現状問題に挑戦し,クラス発見を継続的に,真に教師なしで行う学習パラダイムを提案する。 凍結したPTMバックボーンと学習可能な線形分類器から構成される単純なベースラインを提案する。
  論文  参考訳（メタデータ） (2023-03-28T13:47:16Z)
• Uncertainty-Aware Distillation for Semi-Supervised Few-Shot Class-Incremental Learning [16.90277839119862]
  クラス平衡による不確実性認識蒸留(UaD-CE)というフレームワークを提案する。 疑似ラベル生成において,クラスバランスの取れた自己学習を取り入れたCEモジュールを導入する。 3つのベンチマークデータセットの総合的な実験により、本手法はラベルなしデータの適応性を向上できることを示した。
  論文  参考訳（メタデータ） (2023-01-24T12:53:06Z)
• Prompting to Distill: Boosting Data-Free Knowledge Distillation via Reinforced Prompt [52.6946016535059]
  データフリー知識蒸留(DFKD)は、元のトレーニングデータの依存をなくし、知識蒸留を行う。 本稿では,PmptDFD(PromptDFD)と呼ばれるプロンプトベースの手法を提案する。 本実験で示すように, 本手法は, 合成品質を大幅に向上し, 蒸留性能を著しく向上させる。
  論文  参考訳（メタデータ） (2022-05-16T08:56:53Z)
• Always Be Dreaming: A New Approach for Data-Free Class-Incremental Learning [73.24988226158497]
  データフリークラスインクリメンタルラーニング(DFCIL)における高インパクト問題について考察する。 そこで本研究では, 改良型クロスエントロピートレーニングと重要重み付き特徴蒸留に寄与するDFCILの新たなインクリメンタル蒸留戦略を提案する。 本手法は,共通クラスインクリメンタルベンチマークにおけるSOTA DFCIL法と比較して,最終タスク精度(絶対差)が25.1%向上する。
  論文  参考訳（メタデータ） (2021-06-17T17:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。