論文の概要: LCA: Local Classifier Alignment for Continual Learning
- arxiv url: http://arxiv.org/abs/2603.09888v1
- Date: Tue, 10 Mar 2026 16:46:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-11 15:25:24.46374
- Title: LCA: Local Classifier Alignment for Continual Learning
- Title（参考訳）: LCA:継続的学習のためのローカル分類器アライメント
- Authors: Tung Tran, Danilo Vasconcellos Vargas, Khoat Than,
- Abstract要約: インテリジェントシステムの基本的な要件は、変化する環境下で継続的に学習する能力である。
本稿では,分類器と背骨との整合性を改善するために,新しいテキストローカルアライメント(LCA)の損失を提案する。
我々の手法は、しばしば先進的な性能を達成し、時には最先端の手法よりも大きなマージンを持つ。
- 参考スコア（独自算出の注目度）: 5.6485547702913665
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A fundamental requirement for intelligent systems is the ability to learn continuously under changing environments. However, models trained in this regime often suffer from catastrophic forgetting. Leveraging pre-trained models has recently emerged as a promising solution, since their generalized feature extractors enable faster and more robust adaptation. While some earlier works mitigate forgetting by fine-tuning only on the first task, this approach quickly deteriorates as the number of tasks grows and the data distributions diverge. More recent research instead seeks to consolidate task knowledge into a unified backbone, or adapting the backbone as new tasks arrive. However, such approaches may create a (potential) \textit{mismatch} between task-specific classifiers and the adapted backbone. To address this issue, we propose a novel \textit{Local Classifier Alignment} (LCA) loss to better align the classifier with backbone. Theoretically, we show that this LCA loss can enable the classifier to not only generalize well for all observed tasks, but also improve robustness. Furthermore, we develop a complete solution for continual learning, following the model merging approach and using LCA. Extensive experiments on several standard benchmarks demonstrate that our method often achieves leading performance, sometimes surpasses the state-of-the-art methods with a large margin.
- Abstract（参考訳）: インテリジェントシステムの基本的な要件は、変化する環境下で継続的に学習する能力である。
しかし、この体制で訓練されたモデルは、しばしば破滅的な忘れ物に悩まされる。
一般化された特徴抽出器はより高速で堅牢な適応を可能にするため、最近、事前訓練されたモデルを活用することが有望なソリューションとして浮上した。
初期の作業では、最初のタスクのみを微調整することで忘れを軽減していたが、タスクの数が増加し、データ分布が多様化するにつれて、このアプローチは急速に悪化する。
より最近の研究では、タスク知識を統一されたバックボーンに統合するか、新しいタスクが到着するにつれてバックボーンを適応させようとしている。
しかし、そのようなアプローチはタスク固有の分類器と適応されたバックボーンの間に(潜在的に) \textit{mismatch} を生成することができる。
この問題に対処するために,分類器とバックボーンとの整合性を改善するために,新しい 'textit{Local Classifier Alignment} (LCA) 損失を提案する。
理論的には、このLCA損失は、観察された全てのタスクに対して、分類器がうまく一般化できるだけでなく、堅牢性も向上できることを示す。
さらに,モデルマージ手法とLCAを用いた連続学習のための完全解を開発した。
いくつかの標準ベンチマークでの大規模な実験は、我々の手法がしばしば先進的な性能を達成し、時には最先端の手法よりも大きなマージンを持つことを示す。
関連論文リスト
- CLIP with Generative Latent Replay: a Strong Baseline for Incremental Learning [17.614980614656407]
インクリメンタル・プロンプト学習のための連続的生成学習を提案する。
変分オートエンコーダを用いてクラス条件分布を学習する。
このような生成的リプレイアプローチは、ゼロショット機能を改善しつつ、新しいタスクに適応できることを示す。
論文 参考訳（メタデータ） (2024-07-22T16:51:28Z) - Class incremental learning with probability dampening and cascaded gated classifier [4.285597067389559]
本稿では, Margin Dampening と Cascaded Scaling という新たな漸進正規化手法を提案する。
1つ目は、ソフト制約と知識蒸留のアプローチを組み合わせて、過去の知識を保存し、新しいパターンを忘れることを可能にします。
提案手法は,複数のベンチマークにおいて,確立されたベースラインで良好に動作することを示す。
論文 参考訳（メタデータ） (2024-02-02T09:33:07Z) - Prior-Free Continual Learning with Unlabeled Data in the Wild [24.14279172551939]
本稿では,新しいタスクの学習モデルを段階的に更新するPFCL法を提案する。
PFCLはタスクのアイデンティティや以前のデータを知ることなく、新しいタスクを学習する。
実験の結果,PFCL法は3つの学習シナリオすべてにおいて,忘れを著しく軽減することがわかった。
論文 参考訳（メタデータ） (2023-10-16T13:59:56Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-15T17:10:51Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - SLCA: Slow Learner with Classifier Alignment for Continual Learning on a
Pre-trained Model [73.80068155830708]
予備学習モデル(CLPM)を用いた連続学習のための広範囲な解析法を提案する。
Slow Learner with Alignment (SLCA) というシンプルなアプローチを提案する。
さまざまなシナリオにおいて、私たちの提案はCLPMの大幅な改善を提供します。
論文 参考訳（メタデータ） (2023-03-09T08:57:01Z) - Fast Hierarchical Learning for Few-Shot Object Detection [57.024072600597464]
転送学習アプローチは、最近、数ショット検出タスクで有望な結果を得た。
これらのアプローチは、ベース検出器の微調整による破滅的な忘れ込みの問題に悩まされる。
この作業における上記の問題に対処する。
論文 参考訳（メタデータ） (2022-10-10T20:31:19Z) - Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。
フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。
本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
論文 参考訳（メタデータ） (2021-06-24T05:19:26Z) - Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。
少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。
これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
論文 参考訳（メタデータ） (2020-08-04T10:41:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。