論文の概要: Scalable Analytic Classifiers with Associative Drift Compensation for Class-Incremental Learning of Vision Transformers

• arxiv url: http://arxiv.org/abs/2602.00144v1
• Date: Thu, 29 Jan 2026 06:42:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:32.974675
• Title: Scalable Analytic Classifiers with Associative Drift Compensation for Class-Incremental Learning of Vision Transformers
• Title（参考訳）: 連想ドリフト補償を用いた視覚変換器のクラス増分学習のためのスケーラブルな解析的分類法
• Authors: Xuan Rao, Mingming Ha, Bo Zhao, Derong Liu, Cesare Alippi,
• Abstract要約: 視覚変換器(ViT)を用いたクラスインクリメンタルラーニングは、再建フェーズにおいて大きな計算ボトルネックに直面している。 正規化ガウス判別分析(RGDA)は、SGDベースの分類器に匹敵する精度でベイズ最適化の代替手段を提供する。 本稿ではRGDAの表現性と線形分類器の効率性を組み合わせたスケーラブルな分類器であるRGDA(LR-RGDA)を提案する。
• 参考スコア（独自算出の注目度）: 26.771319566121708
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class-incremental learning (CIL) with Vision Transformers (ViTs) faces a major computational bottleneck during the classifier reconstruction phase, where most existing methods rely on costly iterative stochastic gradient descent (SGD). We observe that analytic Regularized Gaussian Discriminant Analysis (RGDA) provides a Bayes-optimal alternative with accuracy comparable to SGD-based classifiers; however, its quadratic inference complexity limits its use in large-scale CIL scenarios. To overcome this, we propose Low-Rank Factorized RGDA (LR-RGDA), a scalable classifier that combines RGDA's expressivity with the efficiency of linear classifiers. By exploiting the low-rank structure of the covariance via the Woodbury matrix identity, LR-RGDA decomposes the discriminant function into a global affine term refined by a low-rank quadratic perturbation, reducing the inference complexity from $\mathcal{O}(Cd^2)$ to $\mathcal{O}(d^2 + Crd^2)$, where $C$ is the class number, $d$ the feature dimension, and $r \ll d$ the subspace rank. To mitigate representation drift caused by backbone updates, we further introduce Hopfield-based Distribution Compensator (HopDC), a training-free mechanism that uses modern continuous Hopfield Networks to recalibrate historical class statistics through associative memory dynamics on unlabeled anchors, accompanied by a theoretical bound on the estimation error. Extensive experiments on diverse CIL benchmarks demonstrate that our framework achieves state-of-the-art performance, providing a scalable solution for large-scale class-incremental learning with ViTs. Code: https://github.com/raoxuan98-hash/lr_rgda_hopdc.
• Abstract（参考訳）: 視覚変換器(ViT)を用いたクラスインクリメンタルラーニング(CIL)は、分類器再構成フェーズにおいて大きな計算ボトルネックに直面し、既存のほとんどの手法はコストのかかる反復確率勾配勾配(SGD)に依存している。 解析正規化ガウス判別分析(RGDA)は、SGDに基づく分類器に匹敵する精度でベイズ最適の代替手段を提供するが、その二次推論の複雑さは大規模CILシナリオでの使用を制限する。 そこで我々は,RGDAの表現率と線形分類器の効率を結合したスケーラブルな分類器であるRGDA(LR-RGDA)を提案する。 ウッドベリー行列の恒等式を通じて共分散の低階構造を利用することにより、LR-RGDAは、判別関数を低階二次摂動によって洗練された大域的なアフィン項に分解し、推論複雑性を$\mathcal{O}(Cd^2)$から$\mathcal{O}(d^2 + Crd^2)$へ還元する。 バックボーン更新による表現のドリフトを軽減するため,ホップフィールドベースの分散補償器 (HopDC) も導入した。これは現代の連続ホップフィールドネットワークを用いて,非ラベルアンカー上の連想メモリのダイナミックスを通じて,推定誤差に理論的拘束を伴って,履歴クラス統計を校正する訓練自由機構である。 多様なCILベンチマークに関する大規模な実験は、我々のフレームワークが最先端のパフォーマンスを実現し、ViTによる大規模クラス増分学習のためのスケーラブルなソリューションを提供することを示した。 コード:https://github.com/raoxuan98-hash/lr_rgda_hopdc

関連論文リスト

• Binary Kernel Logistic Regression: a sparsity-inducing formulation and a convergent decomposition training algorithm [0.5680416078423551]
  カーネルロジスティック回帰(カーネルロジスティックレグレッション、英: Kernel Logistic regression、KLR)は、二分法および多クラス分類のための教師付き学習法である。 KLRのスパーシリティに対処する以前の試みには、ベクトルインポートマシン(Vector Import Machine, IVM)と呼ばれる方法がある。 本稿では,Keerthiらによって提案されたトレーニング定式化の拡張を提案する。
  論文  参考訳（メタデータ） (2025-12-22T14:40:30Z)
• Evolution Strategies at the Hyperscale [57.75314521465674]
  本稿では,大集団にバックプロップフリーな最適化を拡大するための進化戦略(ES)アルゴリズムEGGROLLを紹介する。 ESは、微分不可能またはノイズの多い目的を処理できる強力なブラックボックス最適化手法のセットである。 EGGROLLはランダム行列を$Ain mathbbRmtimes r, Bin mathbbRntimes r$ with $rll min(m,n)$ とすることでこれらのボトルネックを克服し、低ランク行列摂動を$A Btop$とする。
  論文  参考訳（メタデータ） (2025-11-20T18:56:05Z)
• Scaling Up ROC-Optimizing Support Vector Machines [3.1941554288428198]
  ROC-SVMは、ROC曲線(AUC)の下での面積を直接最大化し、クラス不均衡の存在下での従来の二項分類の魅力的な代替品となっている。 我々は,不完全なU統計を利用して計算複雑性を大幅に低減するROC-SVMのスケーラブルな変種を開発する。 低ランクカーネル近似により、このフレームワークを非線形分類に拡張し、カーネルヒルベルト空間を再現する効率的なトレーニングを可能にする。
  論文  参考訳（メタデータ） (2025-11-07T04:38:25Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Logarithmic Regret for Online KL-Regularized Reinforcement Learning [51.113248212150964]
  KL正規化は、大規模言語モデルにおけるRL微調整の効率向上に重要な役割を果たしている。 経験的優位性にもかかわらず、KL-正則化RLと標準RLの理論的相違はほとんど未探索のままである。 楽観的なKL正規化オンライン文脈帯域幅アルゴリズムを提案し,その後悔の新たな分析法を提案する。
  論文  参考訳（メタデータ） (2025-02-11T11:11:05Z)
• CoLiDE: Concomitant Linear DAG Estimation [12.415463205960156]
  観測データから線形方程式への非巡回グラフ構造学習の問題に対処する。 本稿では,空間認識学習DAGのための新しい凸スコア関数を提案する。
  論文  参考訳（メタデータ） (2023-10-04T15:32:27Z)
• IB-GAN: A Unified Approach for Multivariate Time Series Classification under Class Imbalance [1.854931308524932]
  GAN(Generative Adversarial Networks)による非パラメトリックデータ拡張は、有望なソリューションを提供する。 本稿では,データ拡張と分類を1段階のプロセスで結合する新しい手法であるImputation Balanced GAN(IB-GAN)を提案する。
  論文  参考訳（メタデータ） (2021-10-14T15:31:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。