論文の概要: DS-AL: A Dual-Stream Analytic Learning for Exemplar-Free Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2403.17503v1
- Date: Tue, 26 Mar 2024 09:04:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 16:06:48.689669
- Title: DS-AL: A Dual-Stream Analytic Learning for Exemplar-Free Class-Incremental Learning
- Title（参考訳）: DS-AL: 初級クラス増分学習のためのデュアルストリーム分析学習
- Authors: Huiping Zhuang, Run He, Kai Tong, Ziqian Zeng, Cen Chen, Zhiping Lin,
- Abstract要約: クラスインクリメンタル・ラーニング (CIL) は, 先進的な制約を伴わず, 重大な課題を呈している。
本稿では,Dual-Stream Analytic Learning (DS-AL) アプローチを提案する。
実証実験の結果、DS-ALは非標準技術であるにもかかわらず、リプレイベースの手法に匹敵する性能を提供することが示された。
- 参考スコア（独自算出の注目度）: 27.585993693155217
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Class-incremental learning (CIL) under an exemplar-free constraint has presented a significant challenge. Existing methods adhering to this constraint are prone to catastrophic forgetting, far more so than replay-based techniques that retain access to past samples. In this paper, to solve the exemplar-free CIL problem, we propose a Dual-Stream Analytic Learning (DS-AL) approach. The DS-AL contains a main stream offering an analytical (i.e., closed-form) linear solution, and a compensation stream improving the inherent under-fitting limitation due to adopting linear mapping. The main stream redefines the CIL problem into a Concatenated Recursive Least Squares (C-RLS) task, allowing an equivalence between the CIL and its joint-learning counterpart. The compensation stream is governed by a Dual-Activation Compensation (DAC) module. This module re-activates the embedding with a different activation function from the main stream one, and seeks fitting compensation by projecting the embedding to the null space of the main stream's linear mapping. Empirical results demonstrate that the DS-AL, despite being an exemplar-free technique, delivers performance comparable with or better than that of replay-based methods across various datasets, including CIFAR-100, ImageNet-100 and ImageNet-Full. Additionally, the C-RLS' equivalent property allows the DS-AL to execute CIL in a phase-invariant manner. This is evidenced by a never-before-seen 500-phase CIL ImageNet task, which performs on a level identical to a 5-phase one. Our codes are available at https://github.com/ZHUANGHP/Analytic-continual-learning.
- Abstract（参考訳）: クラスインクリメンタル・ラーニング (CIL) は, 先進的な制約を伴わず, 重大な課題を呈している。
この制約に固執する既存の手法は、過去のサンプルへのアクセスを維持するリプレイベースの技術よりも、破滅的な忘れがちである。
本稿では,従来のCIL問題を解決するために,Dual-Stream Analytic Learning (DS-AL) アプローチを提案する。
DS-ALは、解析的(すなわち閉形式)線形解を提供する主ストリームと、線形写像を採用することにより固有の不適合限界を改善する補償ストリームとを含む。
メインストリームはCIL問題をC-RLS(Concatenated Recursive Least Squares)タスクに再定義し、CILと共同学習の同等性を実現する。
補償ストリームはDual-Activation Compensation (DAC)モジュールによって管理される。
このモジュールは、メインストリームと異なるアクティベーション関数で埋め込みを再活性化し、メインストリームのリニアマッピングのヌル空間に埋め込みを投影することで適合補償を求める。
実証的な結果は、DS-ALは、典型的なフリーテクニックであるにもかかわらず、CIFAR-100、ImageNet-100、ImageNet-Fullなど、さまざまなデータセットにわたるリプレイベースのメソッドと同等以上のパフォーマンスを提供することを示している。
さらに、C-RLSの等価性により、DS-ALは位相不変の方法でCILを実行することができる。
これは、前例のない500フェーズCIL ImageNetタスクによって証明され、5フェーズのタスクと同じレベルで実行される。
我々のコードはhttps://github.com/ZHUANGHP/Analytic-Continual-learningで入手できる。
関連論文リスト
- Online Analytic Exemplar-Free Continual Learning with Large Models for Imbalanced Autonomous Driving Task [25.38082751323396]
AEF-OCL (Analytic Exemplar-Free Online Continual Learning Algorithm) を提案する。
AEF-OCLは解析的連続学習原理を活用し、大きなバックボーンネットワークによって抽出された特徴の分類器としてリッジ回帰を用いる。
実験結果から, 自動走行SODA10Mデータセットにおいて, 提案手法は, 既往の戦略であるにもかかわらず, 様々な手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-05-28T03:19:15Z) - REAL: Representation Enhanced Analytic Learning for Exemplar-free Class-incremental Learning [12.197327462627912]
EFCIL(Exemplar-free class-incremental Learning)のための表現強化分析学習(REAL)を提案する。
REALは、二重ストリームベース事前訓練(DS-BPT)および表現強化蒸留(RED)プロセスを構築し、抽出器の表現を強化する。
本手法は,既存のALベースCILの凍結バックボーンによって引き起こされる未確認データの表現において,識別性が不十分な問題に対処する。
論文 参考訳（メタデータ） (2024-03-20T11:48:10Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳（メタデータ） (2024-01-17T09:01:29Z) - Dynamic Residual Classifier for Class Incremental Learning [4.02487511510606]
古いクラスと新しいクラスの間に不均衡なサンプル番号があれば、学習はバイアスを受けることができる。
既存のCIL手法は、例えば、調整された損失やデータ再サンプリング手法など、Longtailed (LT) 認識技術を利用する。
この挑戦的なシナリオに対処するために、新しい動的残留適応(DRC)を提案する。
論文 参考訳（メタデータ） (2023-08-25T11:07:11Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-05T12:49:02Z) - Dealing with Cross-Task Class Discrimination in Online Continual
Learning [54.31411109376545]
本稿では,クラスインクリメンタルラーニング(CIL)における新たな課題について論じる。
新しいタスクのクラスと古いタスクの間の決定境界を、古いタスクデータへの(あるいは制限された)アクセスなしで設定する方法。
リプレイ方式では、前のタスクから少量のデータ(再生データ)を節約する。現在のタスクデータのバッチが到着すると、システムは、新しいデータとサンプルデータとを共同でトレーニングする。
本稿では,リプレイ手法には動的トレーニングバイアスの問題があり,CTCD問題の解法におけるリプレイデータの有効性を低下させる。
論文 参考訳（メタデータ） (2023-05-24T02:52:30Z) - DELTA: Dynamic Embedding Learning with Truncated Conscious Attention for
CTR Prediction [61.68415731896613]
CTR(Click-Through Rate)予測は、製品とコンテンツの推奨において重要なタスクである。
本稿では,CTR予測のための動的埋め込み学習を実現するモデルを提案する。
論文 参考訳（メタデータ） (2023-05-03T12:34:45Z) - Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。
追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。
スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
論文 参考訳（メタデータ） (2022-09-30T15:15:05Z) - Contrastive and Non-Contrastive Self-Supervised Learning Recover Global
and Local Spectral Embedding Methods [19.587273175563745]
自己監督学習(SSL)は、入力とペアの正の関係は意味のある表現を学ぶのに十分である。
本稿では,これらの制約に対処するために,スペクトル多様体学習の推進力の下で統一的な枠組みを提案する。
論文 参考訳（メタデータ） (2022-05-23T17:59:32Z) - Class Incremental Online Streaming Learning [40.97848249237289]
本稿では,これらの課題に対処するために,エンフォリンストリーミング環境におけるクラスインクリメンタル学習のための新しいアプローチを提案する。
提案手法は暗黙的かつ明示的な二重重み正規化と経験的リプレイを利用する。
また、モデルの性能を大幅に向上させる効率的なオンラインメモリ再生および置換バッファ戦略を提案する。
論文 参考訳（メタデータ） (2021-10-20T19:24:31Z) - Contrastive Prototype Learning with Augmented Embeddings for Few-Shot
Learning [58.2091760793799]
拡張埋め込み(CPLAE)モデルを用いた新しいコントラスト型プロトタイプ学習を提案する。
クラスプロトタイプをアンカーとして、CPLは、同じクラスのクエリサンプルを、異なるクラスのサンプルを、さらに遠くに引き出すことを目的としている。
いくつかのベンチマークによる大規模な実験により,提案したCPLAEが新たな最先端を実現することが示された。
論文 参考訳（メタデータ） (2021-01-23T13:22:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。