論文の概要: Navigating Semantic Drift in Task-Agnostic Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2502.07560v2
• Date: Mon, 17 Feb 2025 12:57:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:11:46.355372
• Title: Navigating Semantic Drift in Task-Agnostic Class-Incremental Learning
• Title（参考訳）: タスク非依存型クラスインクリメンタルラーニングにおける意味的ドリフトの誘導
• Authors: Fangwen Wu, Lechao Cheng, Shengeng Tang, Xiaofeng Zhu, Chaowei Fang, Dingwen Zhang, Meng Wang,
• Abstract要約: クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、モデルが学習したクラスの知識を維持しつつ、新しいクラスを逐次学習できるようにすることを目的とする。 柔軟性と安定性のバランスをとることは、特にタスクIDが不明な場合には、依然として大きな課題である。 本研究では,平均シフト補償と共分散校正を組み合わせたセマンティックドリフト校正法を提案する。
• 参考スコア（独自算出の注目度）: 51.177789437682954
• License:
• Abstract: Class-incremental learning (CIL) seeks to enable a model to sequentially learn new classes while retaining knowledge of previously learned ones. Balancing flexibility and stability remains a significant challenge, particularly when the task ID is unknown. To address this, our study reveals that the gap in feature distribution between novel and existing tasks is primarily driven by differences in mean and covariance moments. Building on this insight, we propose a novel semantic drift calibration method that incorporates mean shift compensation and covariance calibration. Specifically, we calculate each class's mean by averaging its sample embeddings and estimate task shifts using weighted embedding changes based on their proximity to the previous mean, effectively capturing mean shifts for all learned classes with each new task. We also apply Mahalanobis distance constraint for covariance calibration, aligning class-specific embedding covariances between old and current networks to mitigate the covariance shift. Additionally, we integrate a feature-level self-distillation approach to enhance generalization. Comprehensive experiments on commonly used datasets demonstrate the effectiveness of our approach. The source code is available at \href{https://github.com/fwu11/MACIL.git}{https://github.com/fwu11/MACIL.git}.
• Abstract（参考訳）: クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、モデルが学習したクラスの知識を維持しつつ、新しいクラスを逐次学習できるようにすることを目的とする。 柔軟性と安定性のバランスをとることは、特にタスクIDが不明な場合には、依然として大きな課題である。 そこで本研究では,新しいタスクと既存タスク間の特徴分布のギャップは,平均と共分散モーメントの違いによって主に引き起こされることを示した。 この知見に基づいて,平均シフト補償と共分散校正を組み込んだセマンティックドリフト校正法を提案する。 具体的には,従来の平均値に近い重み付き埋め込み変化を用いて,各クラスの平均値を平均化し,タスクシフトを推定することにより,各クラスの平均値を計算し,新しいタスク毎に学習クラスの平均シフトを効果的に把握する。 また,Mahalanobis 距離制約を共分散キャリブレーションに適用し,従来のネットワークと現在のネットワーク間のクラス固有の埋め込み共分散を整列させて共分散シフトを緩和する。 さらに, 機能レベルの自己蒸留手法を統合し, 一般化の促進を図る。 一般的なデータセットに関する総合的な実験は、我々のアプローチの有効性を実証する。 ソースコードは \href{https://github.com/fwu11/MACIL.git}{https://github.com/fwu11/MACIL.git} で公開されている。

関連論文リスト

• Task-recency bias strikes back: Adapting covariances in Exemplar-Free Class Incremental Learning [0.3281128493853064]
  過去のデータにアクセスせずにタスクのシーケンス上でモデルをトレーニングする問題に対処する。 既存の方法は、特徴抽出器の潜在空間におけるガウス分布としてクラスを表す。 本稿では,タスクからタスクへ共分散行列を適用する新しい手法であるAdaGaussを提案する。
  論文  参考訳（メタデータ） (2024-09-26T20:18:14Z)
• Class incremental learning with probability dampening and cascaded gated classifier [4.285597067389559]
  本稿では, Margin Dampening と Cascaded Scaling という新たな漸進正規化手法を提案する。 1つ目は、ソフト制約と知識蒸留のアプローチを組み合わせて、過去の知識を保存し、新しいパターンを忘れることを可能にします。 提案手法は,複数のベンチマークにおいて,確立されたベースラインで良好に動作することを示す。
  論文  参考訳（メタデータ） (2024-02-02T09:33:07Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• FeCAM: Exploiting the Heterogeneity of Class Distributions in Exemplar-Free Continual Learning [21.088762527081883]
  Exemplar-free class-incremental learning (CIL)は、以前のタスクからのデータのリハーサルを禁止しているため、いくつかの課題がある。 第1タスクの後に特徴抽出器を凍結して分類器を漸進的に学習する手法が注目されている。 凍結した特徴抽出器を用いて新しいクラスプロトタイプを生成するCILのプロトタイプネットワークを探索し,プロトタイプとのユークリッド距離に基づいて特徴を分類する。
  論文  参考訳（メタデータ） (2023-09-25T11:54:33Z)
• Multivariate Prototype Representation for Domain-Generalized Incremental Learning [35.83706574551515]
  我々は、古いクラスを記憶し、新しいクラスに適応し、見えないドメインから確実にオブジェクトを分類できるDGCILアプローチを設計する。 我々の損失定式化は、分類境界を維持し、各クラスのドメイン固有情報を抑圧する。
  論文  参考訳（メタデータ） (2023-09-24T06:42:04Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
  分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。 フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。 本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
  論文  参考訳（メタデータ） (2021-06-24T05:19:26Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。