論文の概要: Multi-Level Knowledge Distillation and Dynamic Self-Supervised Learning for Continual Learning

• arxiv url: http://arxiv.org/abs/2508.12692v1
• Date: Mon, 18 Aug 2025 07:50:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:11.06899
• Title: Multi-Level Knowledge Distillation and Dynamic Self-Supervised Learning for Continual Learning
• Title（参考訳）: 連続学習のためのマルチレベル知識蒸留と動的自己監督学習
• Authors: Taeheon Kim, San Kim, Minhyuk Seo, Dongjae Jeon, Wonje Jeong, Jonghyun Choi,
• Abstract要約: 繰り返しを伴うクラスインクリメンタル(CIR)は、従来のクラスインクリメンタルセットアップよりも現実的なシナリオです。 CIRで訓練されたモデルの安定性と可塑性を確保するために,ラベルのないデータを効率的に利用する2つのコンポーネントを提案する。 CVPR 5th CLVISION Challengeでは,両コンポーネントともCIRセットアップの性能が著しく向上し,第2位となった。
• 参考スコア（独自算出の注目度）: 15.470974102924286
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Class-incremental with repetition (CIR), where previously trained classes repeatedly introduced in future tasks, is a more realistic scenario than the traditional class incremental setup, which assumes that each task contains unseen classes. CIR assumes that we can easily access abundant unlabeled data from external sources, such as the Internet. Therefore, we propose two components that efficiently use the unlabeled data to ensure the high stability and the plasticity of models trained in CIR setup. First, we introduce multi-level knowledge distillation (MLKD) that distills knowledge from multiple previous models across multiple perspectives, including features and logits, so the model can maintain much various previous knowledge. Moreover, we implement dynamic self-supervised loss (SSL) to utilize the unlabeled data that accelerates the learning of new classes, while dynamic weighting of SSL keeps the focus of training to the primary task. Both of our proposed components significantly improve the performance in CIR setup, achieving 2nd place in the CVPR 5th CLVISION Challenge.
• Abstract（参考訳）: CIR(Class-incremental with repeatition)は、従来のクラスインクリメンタルセットアップよりも現実的なシナリオであり、各タスクには目に見えないクラスが含まれていると仮定する。 CIRは、インターネットなどの外部ソースから豊富なラベルのないデータに容易にアクセスできると仮定する。 そこで本研究では,CIRで訓練したモデルの安定性と可塑性を確保するために,ラベルのないデータを効率的に利用する2つのコンポーネントを提案する。 まず,多段階の知識蒸留(MLKD)を導入し,特徴やロジットを含む複数の視点において,複数の過去のモデルから知識を抽出する。 さらに、新しいクラスの学習を加速するラベルのないデータを活用するために、動的自己教師損失(SSL)を実装する一方、SSLの動的重み付けはトレーニングの焦点をメインタスクに維持する。 CVPR 5th CLVISION Challengeでは,両コンポーネントともCIRセットアップの性能が著しく向上し,第2位となった。

関連論文リスト

• Addressing Imbalanced Domain-Incremental Learning through Dual-Balance Collaborative Experts [59.615381619866284]
  ドメイン・インクリメンタル・ラーニング(Domain-Incremental Learning, DIL)は、非定常環境における連続的な学習に焦点を当てる。 DILは、ドメイン内のクラス不均衡とドメイン間のクラス分散シフトという、2つの重要な課題に直面している。 これらの課題を克服するために、Dual-Balance Collaborative Experts (DCE)フレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-07-09T17:57:07Z)
• CSTA: Spatial-Temporal Causal Adaptive Learning for Exemplar-Free Video Class-Incremental Learning [62.69917996026769]
  クラスインクリメンタルな学習課題は、空間的外観と時間的行動の関与の両方を学習し、保存することを必要とする。 本稿では,各クラス固有のインクリメンタル情報要件を調整し,新しいクラスパターンを学習するためのアダプタを分離するフレームワークを提案する。 異なる種類の情報間のインクリメントと記憶の衝突を減らすために,因果補償機構を提案する。
  論文  参考訳（メタデータ） (2025-01-13T11:34:55Z)
• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• KIF: Knowledge Identification and Fusion for Language Model Continual Learning [41.28933724210434]
  言語モデルのための新しいフレームワーク、Knowledge Identification and Fusion (KIF)を紹介する。 KIFはパラメータ依存に基づいてモデルを'スキルユニット'に分離し、より正確な制御を可能にする。 新たな課題に対するスキルユニットの重要性の分布を確認するために,新しいグループ単位の知識識別技術を採用している。 その結果、KIFは、事前知識の保持と、新しいタスクの卓越とを最適なバランスで達成する。
  論文  参考訳（メタデータ） (2024-08-09T17:44:45Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• DUEL: Duplicate Elimination on Active Memory for Self-Supervised Class-Imbalanced Learning [19.717868805172323]
  新たなフレームワークであるDuplicate Elimination(DUEL)の自己教師付き事前学習におけるアクティブなデータフィルタリングプロセスを提案する。 このフレームワークは、人間のワーキングメモリにインスパイアされたアクティブメモリを統合し、メモリ内のデータの多様性を測定する特異性情報を導入する。 最も重複したデータを新しいサンプルに置き換えるDUELポリシは、メモリ内の特異性情報を強化し、クラス不均衡を軽減することを目的としている。
  論文  参考訳（メタデータ） (2024-02-14T06:09:36Z)
• Towards Plastic and Stable Exemplar-Free Incremental Learning: A Dual-Learner Framework with Cumulative Parameter Averaging [12.168402195820649]
  In this proposed a Dual-Learner framework with Cumulative。 平均化(DLCPA) DLCPA は Task-IL と Class-IL の両方の設定において,最先端の既定ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-28T08:48:44Z)
• Evolving Knowledge Mining for Class Incremental Segmentation [113.59611699693092]
  クラスインクリメンタルセマンティック(CISS)は、最近、現実世界のアプリケーションにおいて大きな重要性があるため、トレンドとなっている。 冷凍バックボーンを用いた新規なkNowleDgeマイニング法を提案する。 提案手法を2つの広く使用されているベンチマークで評価し,新しい最先端性能を一貫して示す。
  論文  参考訳（メタデータ） (2023-06-03T07:03:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。