論文の概要: Continual Learning Using a Kernel-Based Method Over Foundation Models
- arxiv url: http://arxiv.org/abs/2412.15571v1
- Date: Fri, 20 Dec 2024 05:09:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-23 16:24:56.784619
- Title: Continual Learning Using a Kernel-Based Method Over Foundation Models
- Title（参考訳）: ファンデーションモデル上でのカーネルベース手法による連続学習
- Authors: Saleh Momeni, Sahisnu Mazumder, Bing Liu,
- Abstract要約: CIL(Class-Incremental Learning)は、一連のタスクを段階的に学習する。
CILには、破滅的忘れ(CF)とタスク間クラス分離(ICS)の2つの主要な課題がある。
本稿では,CFやICSの問題を効果的に回避できるカーネル線形判別分析(KLDA)を提案する。
- 参考スコア（独自算出の注目度）: 13.315292874389735
- License:
- Abstract: Continual learning (CL) learns a sequence of tasks incrementally. This paper studies the challenging CL setting of class-incremental learning (CIL). CIL has two key challenges: catastrophic forgetting (CF) and inter-task class separation (ICS). Despite numerous proposed methods, these issues remain persistent obstacles. This paper proposes a novel CIL method, called Kernel Linear Discriminant Analysis (KLDA), that can effectively avoid CF and ICS problems. It leverages only the powerful features learned in a foundation model (FM). However, directly using these features proves suboptimal. To address this, KLDA incorporates the Radial Basis Function (RBF) kernel and its Random Fourier Features (RFF) to enhance the feature representations from the FM, leading to improved performance. When a new task arrives, KLDA computes only the mean for each class in the task and updates a shared covariance matrix for all learned classes based on the kernelized features. Classification is performed using Linear Discriminant Analysis. Our empirical evaluation using text and image classification datasets demonstrates that KLDA significantly outperforms baselines. Remarkably, without relying on replay data, KLDA achieves accuracy comparable to joint training of all classes, which is considered the upper bound for CIL performance. The KLDA code is available at https://github.com/salehmomeni/klda.
- Abstract（参考訳）: 連続学習(CL)は、一連のタスクを段階的に学習する。
本稿では,クラスインクリメンタルラーニング(CIL)におけるCL設定の課題について検討する。
CILには、破滅的な忘れ(CF)とタスク間クラス分離(ICS)の2つの主要な課題がある。
多くの手法が提案されているにもかかわらず、これらの問題は永続的な障害のままである。
本稿では,CF や ICS の問題を効果的に回避できる新しい CIL 手法である Kernel Linear Discriminant Analysis (KLDA) を提案する。
基礎モデル(FM)で学んだ強力な機能のみを活用する。
しかし、これらの機能を直接使用すると、最適ではないことが証明される。
これを解決するため、KLDA は Radial Basis Function (RBF) カーネルと Random Fourier Features (RFF) を組み込み、FM から特徴表現を強化し、性能を改善した。
新しいタスクが到着すると、KLDAはタスクの各クラスの平均値のみを計算し、カーネル化された機能に基づいたすべての学習クラスの共有共分散行列を更新する。
分類は線形判別分析を用いて行われる。
テキストおよび画像分類データセットを用いた実験により,KLDAがベースラインを著しく上回ることを示す。
注目すべきは、KLDAはリプレイデータに頼らずに、CILパフォーマンスの上限であるすべてのクラスのジョイントトレーニングに匹敵する精度を達成することである。
KLDAコードはhttps://github.com/salehmomeni/klda.comで入手できる。
関連論文リスト
- Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。
我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。
これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
論文 参考訳（メタデータ） (2024-03-01T15:14:47Z) - A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。
近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。
従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
論文 参考訳（メタデータ） (2024-02-06T15:45:27Z) - FeCAM: Exploiting the Heterogeneity of Class Distributions in
Exemplar-Free Continual Learning [21.088762527081883]
Exemplar-free class-incremental learning (CIL)は、以前のタスクからのデータのリハーサルを禁止しているため、いくつかの課題がある。
第1タスクの後に特徴抽出器を凍結して分類器を漸進的に学習する手法が注目されている。
凍結した特徴抽出器を用いて新しいクラスプロトタイプを生成するCILのプロトタイプネットワークを探索し,プロトタイプとのユークリッド距離に基づいて特徴を分類する。
論文 参考訳（メタデータ） (2023-09-25T11:54:33Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-05T12:49:02Z) - TKIL: Tangent Kernel Approach for Class Balanced Incremental Learning [4.822598110892847]
クラスインクリメンタルな学習方法は、いくつかの経験者の記憶を以前に学んだタスクから守り、そこから知識を抽出することを目的としている。
既存のメソッドは、モデルが最新のタスクに過度に適合するため、クラス間でのパフォーマンスのバランスをとるのに苦労しています。
本稿では,TKIL(Tangent Kernel for Incremental Learning)の新たな手法を提案する。
論文 参考訳（メタデータ） (2022-06-17T00:20:54Z) - vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。
vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。
本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
論文 参考訳（メタデータ） (2022-01-23T22:14:17Z) - Kernel Continual Learning [117.79080100313722]
カーネル連続学習は、破滅的な忘れ事に取り組むための、シンプルだが効果的な連続学習の変種である。
エピソードメモリユニットは、カーネルリッジ回帰に基づいてタスク固有の分類器を学ぶために、各タスクのサンプルのサブセットを格納する。
タスク毎にデータ駆動カーネルを学ぶための変動ランダム機能。
論文 参考訳（メタデータ） (2021-07-12T22:09:30Z) - Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。
難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。
我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文 参考訳（メタデータ） (2021-04-07T10:54:51Z) - Learning Kernel for Conditional Moment-Matching Discrepancy-based Image
Classification [26.09932710494144]
条件付き最大平均離散性(CMMD)の識別性能向上のための新しいカーネル学習法を提案する。
ディープネットワークの特徴を反復的に操作することができ、略してKLNと表記される。
特に、カーネルベースの類似性はディープネットワーク機能について反復的に学習されており、アルゴリズムをエンドツーエンドで実装することができる。
論文 参考訳（メタデータ） (2020-08-24T02:35:50Z) - $\ell_p$-Norm Multiple Kernel One-Class Fisher Null-Space [15.000818334408802]
1クラス分類(OCC)における多重カーネル学習(MKL)問題に対処する。
本稿では,カーネル重みに対する一般の$ell_p$-norm制約(pgeq1$)を考慮したマルチカーネル学習アルゴリズムを提案する。
提案した一級MKL手法の拡張は、いくつかの関連する一級MKLタスクが共同で学習される場合にも考慮される。
論文 参考訳（メタデータ） (2020-08-19T19:25:55Z) - Federated Doubly Stochastic Kernel Learning for Vertically Partitioned
Data [93.76907759950608]
本稿では,垂直分割データに対する2倍のカーネル学習アルゴリズムを提案する。
本稿では,FDSKLがカーネルを扱う場合,最先端のフェデレーション学習手法よりもはるかに高速であることを示す。
論文 参考訳（メタデータ） (2020-08-14T05:46:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。