論文の概要: G-ACIL: Analytic Learning for Exemplar-Free Generalized Class Incremental Learning
- arxiv url: http://arxiv.org/abs/2403.15706v2
- Date: Sat, 13 Apr 2024 12:06:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 20:00:41.622229
- Title: G-ACIL: Analytic Learning for Exemplar-Free Generalized Class Incremental Learning
- Title(参考訳): G-ACIL:先進的な一般化クラスインクリメンタルラーニングのための分析学習
- Authors: Huiping Zhuang, Yizhu Chen, Di Fang, Run He, Kai Tong, Hongxin Wei, Ziqian Zeng, Cen Chen,
- Abstract要約: クラスインクリメンタルラーニング(CIL)は、カテゴリーを分けた逐次的なタスクでネットワークをトレーニングするが、破滅的な忘れ込みに悩まされる。
本稿では,G-ACIL(Exemplar-free generalized analysis class incremental learning)を提案する。
G-ACILは解析学習(勾配のない訓練手法)を採用し、GCILのシナリオに解析的解(すなわちクローズドフォーム)を提供する。
- 参考スコア(独自算出の注目度): 20.49481895737308
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Class incremental learning (CIL) trains a network on sequential tasks with separated categories but suffers from catastrophic forgetting, where models quickly lose previously learned knowledge when acquiring new tasks. The generalized CIL (GCIL) aims to address the CIL problem in a more real-world scenario, where incoming data have mixed data categories and unknown sample size distribution, leading to intensified forgetting. Existing attempts for the GCIL either have poor performance, or invade data privacy by saving historical exemplars. To address this, in this paper, we propose an exemplar-free generalized analytic class incremental learning (G-ACIL). The G-ACIL adopts analytic learning (a gradient-free training technique), and delivers an analytical solution (i.e., closed-form) to the GCIL scenario. This solution is derived via decomposing the incoming data into exposed and unexposed classes, allowing an equivalence between the incremental learning and its joint training, i.e., the weight-invariant property. Such an equivalence is theoretically validated through matrix analysis tools, and hence contributes interpretability in GCIL. It is also empirically evidenced by experiments on various datasets and settings of GCIL. The results show that the G-ACIL exhibits leading performance with high robustness compared with existing competitive GCIL methods. Codes will be ready at \url{https://github.com/ZHUANGHP/Analytic-continual-learning}.
- Abstract(参考訳): クラスインクリメンタルラーニング(CIL)は、カテゴリーを分けたシーケンシャルなタスクでネットワークをトレーニングするが、破滅的な忘れ込みに苦しむ。
一般化されたCIL(GCIL)は、より現実的なシナリオにおいてCILの問題に対処することを目的としている。
GCILの既存の試みはパフォーマンスが劣っているか、過去の例を保存してデータのプライバシーを侵害している。
そこで本稿では,G-ACIL(Exemplar-free generalized analysis class incremental learning)を提案する。
G-ACILは解析学習(勾配のない訓練手法)を採用し、GCILのシナリオに解析的解(すなわちクローズドフォーム)を提供する。
この解は、入力データを露出クラスと露出クラスに分解することで導出され、インクリメンタルラーニングとジョイントトレーニング、すなわちウェイト不変性の間の等価性を実現する。
このような等価性は、行列解析ツールを通じて理論的に検証され、GCILの解釈可能性に寄与する。
また、様々なデータセットやGCILの設定に関する実験によって実証されている。
その結果, G-ACILは, 既存の競合GCIL法と比較して, 高い強靭性を示すことがわかった。
コードは \url{https://github.com/ZHUANGHP/Analytic-Continual-learning} で準備が整う。
関連論文リスト
- A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。
近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。
従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
論文 参考訳(メタデータ) (2024-02-06T15:45:27Z) - Memory Consistency Guided Divide-and-Conquer Learning for Generalized
Category Discovery [56.172872410834664]
一般カテゴリー発見(GCD)は、半教師付き学習のより現実的で挑戦的な設定に対処することを目的としている。
メモリ一貫性を誘導する分枝・分枝学習フレームワーク(MCDL)を提案する。
本手法は,画像認識の目に見えるクラスと見えないクラスの両方において,最先端のモデルよりも優れた性能を示す。
論文 参考訳(メタデータ) (2024-01-24T09:39:45Z) - Constructing Sample-to-Class Graph for Few-Shot Class-Incremental
Learning [10.111587226277647]
FSCIL(Few-shot class-incremental Learning)は、いくつかのデータサンプルから新しい概念を継続的に学習するマシンラーニングモデルの構築を目的とする。
本稿では,FSCILのためのS2Cグラフ学習手法を提案する。
論文 参考訳(メタデータ) (2023-10-31T08:38:14Z) - CARL-G: Clustering-Accelerated Representation Learning on Graphs [18.763104937800215]
本稿では,クラスタ検証指標(CVI)にインスパイアされた損失を利用したグラフ表現学習のための新しいクラスタリングベースのフレームワークを提案する。
CARL-Gはクラスタリング法やCVIに適応し,クラスタリング法とCVIの適切な選択により,CARL-Gは4/5データセットのノード分類ベースラインを最大79倍のトレーニングスピードアップで上回ることを示す。
論文 参考訳(メタデータ) (2023-06-12T08:14:42Z) - Dynamic Conceptional Contrastive Learning for Generalized Category
Discovery [76.82327473338734]
Generalized category discovery (GCD) は、部分的にラベル付けされたデータを自動でクラスタリングすることを目的としている。
ラベル付きデータには、ラベル付きデータの既知のカテゴリだけでなく、新しいカテゴリのインスタンスも含まれている。
GCDの効果的な方法の1つは、ラベルなしデータの識別表現を学習するために自己教師付き学習を適用することである。
本稿では,クラスタリングの精度を効果的に向上する動的概念コントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-30T14:04:39Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-06T14:49:59Z) - Analyzing Data-Centric Properties for Contrastive Learning on Graphs [32.69353929886551]
コントラスト学習(CL)のようなグラフSSLメソッドはどのように機能するかを検討する。
我々の研究は、実験的にも理論的にも、データ中心のプロパティがグラフSSLの強化戦略や学習パラダイムに与える影響を厳格に文脈化しています。
論文 参考訳(メタデータ) (2022-08-04T17:58:37Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳(メタデータ) (2021-11-18T06:58:19Z) - No Fear of Heterogeneity: Classifier Calibration for Federated Learning
with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。
このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。
実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文 参考訳(メタデータ) (2021-06-09T12:02:29Z) - Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。
難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。
我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文 参考訳(メタデータ) (2021-04-07T10:54:51Z) - Generalized Canonical Correlation Analysis: A Subspace Intersection
Approach [30.475159163815505]
Generalized Canonical correlation Analysis (GCCA)は、データマイニング、機械学習、人工知能に多くの応用を見出す重要なツールである。
本稿では,GCCAの本質を自然に捉えた(双線形)生成モデルに基づく,GCCAの新たな代数的視点を提供する。
大規模GCCAタスクを処理するためにスケールアップする部分空間交叉に基づく新しいGCCAアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-03-25T04:04:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。