論文の概要: Compensating Distribution Drifts in Class-incremental Learning of Pre-trained Vision Transformers

• arxiv url: http://arxiv.org/abs/2511.09926v1
• Date: Fri, 14 Nov 2025 01:19:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-14 22:53:22.586994
• Title: Compensating Distribution Drifts in Class-incremental Learning of Pre-trained Vision Transformers
• Title（参考訳）: 事前学習型視覚変換器のクラスインクリメンタル学習における分散ドリフトの補償
• Authors: Xuan Rao, Simian Xu, Zheng Li, Bo Zhao, Derong Liu, Mingming Ha, Cesare Alippi,
• Abstract要約: 本稿では、遅延空間遷移演算子を導入し、ドリフト補償を用いた逐次学習を提案する。 SLDCは、ドリフトの影響を軽減するために、タスク間で機能の分散を調整することを目的としている。 標準CILベンチマークの実験では、SLDCはSeqFTの性能を大幅に改善することが示された。
• 参考スコア（独自算出の注目度）: 27.14203097630326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances have shown that sequential fine-tuning (SeqFT) of pre-trained vision transformers (ViTs), followed by classifier refinement using approximate distributions of class features, can be an effective strategy for class-incremental learning (CIL). However, this approach is susceptible to distribution drift, caused by the sequential optimization of shared backbone parameters. This results in a mismatch between the distributions of the previously learned classes and that of the updater model, ultimately degrading the effectiveness of classifier performance over time. To address this issue, we introduce a latent space transition operator and propose Sequential Learning with Drift Compensation (SLDC). SLDC aims to align feature distributions across tasks to mitigate the impact of drift. First, we present a linear variant of SLDC, which learns a linear operator by solving a regularized least-squares problem that maps features before and after fine-tuning. Next, we extend this with a weakly nonlinear SLDC variant, which assumes that the ideal transition operator lies between purely linear and fully nonlinear transformations. This is implemented using learnable, weakly nonlinear mappings that balance flexibility and generalization. To further reduce representation drift, we apply knowledge distillation (KD) in both algorithmic variants. Extensive experiments on standard CIL benchmarks demonstrate that SLDC significantly improves the performance of SeqFT. Notably, by combining KD to address representation drift with SLDC to compensate distribution drift, SeqFT achieves performance comparable to joint training across all evaluated datasets. Code: https://github.com/raoxuan98-hash/sldc.git.
• Abstract（参考訳）: 近年の進歩は、事前学習された視覚変換器(ViT)のシーケンシャル微調整(SeqFT)と、クラス特徴の近似分布を用いた分類器の改良が、クラス増分学習(CIL)の効果的な戦略であることを示している。 しかし、この手法は、共有バックボーンパラメータの逐次最適化による分散ドリフトの影響を受けやすい。 これにより、以前に学習したクラスの分布と更新モデルの分布とのミスマッチが生じ、最終的に時間とともに分類器の性能が低下する。 この問題に対処するために、潜時空間遷移演算子を導入し、Drift Compensation (SLDC) を用いた逐次学習を提案する。 SLDCは、ドリフトの影響を軽減するために、タスク間で機能の分散を調整することを目的としている。 まず SLDC の線形変種について述べるが,線形作用素は細調整前後に特徴を写像する正規化最小二乗問題を解くことで線形作用素を学習する。 次に、これを弱非線形SLDC変種で拡張し、これは理想遷移作用素が純粋線型変換と完全非線形変換の間にあると仮定する。 これは、柔軟性と一般化のバランスをとる学習可能で弱い非線形写像を用いて実装される。 さらに表現のドリフトを低減するため、両アルゴリズムの変種に知識蒸留(KD)を適用した。 標準CILベンチマークの大規模な実験により、SLDCはSeqFTの性能を大幅に改善することが示された。 特に、KDと表象ドリフトをSLDCと組み合わせて分布ドリフトを補償することで、SeqFTは評価されたすべてのデータセットのジョイントトレーニングに匹敵するパフォーマンスを達成する。 コード:https://github.com/raoxuan98-hash/sldc.git

関連論文リスト

• DRL: Discriminative Representation Learning with Parallel Adapters for Class Incremental Learning [63.65467569295623]
  本稿では,これらの課題に対処するための差別的表現学習(DRL)フレームワークを提案する。 逐次学習を効果的かつ効率的に行うために、DRLのネットワークはPTM上に構築される。 我々のDRLは、CIL時代を通して、他の最先端の手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-10-14T03:19:15Z)
• No Alignment Needed for Generation: Learning Linearly Separable Representations in Diffusion Models [4.511561231517167]
  本稿では,中間層表現の線形SEP (Linear SEParability) の促進に基づく,学習のための代替正規化を提案する。 本結果は,フローベーストランスアーキテクチャにおけるトレーニング効率と生成品質の両面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2025-09-25T20:46:48Z)
• A Trainable Optimizer [18.195022468462753]
  モデルの全勾配推定器とトレーニング可能な重みを共同で訓練する枠組みを提案する。 Pseudo-linear TOは無視可能な計算オーバーヘッドを発生させ、最小限の乗算しか必要としない。 実験により、TOメソッドはベンチマークアルゴリズムよりも早く収束することが示された。
  論文  参考訳（メタデータ） (2025-08-03T14:06:07Z)
• Exemplar-free Continual Representation Learning via Learnable Drift Compensation [24.114984920918715]
  本稿では,任意の背骨のドリフトを効果的に軽減できるLearnerable Drift Compensation (LDC)を提案する。 LDCは、既存の継続的学習アプローチの上に、素早く簡単に統合できます。 教師付き設定と半教師付き設定の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-07-11T14:23:08Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• DR-Tune: Improving Fine-tuning of Pretrained Visual Models by Distribution Regularization with Semantic Calibration [38.4461170690033]
  セマンティックキャリブレーションを用いた分布正規化(DR-Tune)という,新しい微調整フレームワークを提案する。 DR-Tuneは、下流タスクヘッドを強制して、事前訓練された特徴分布の分類誤差を低減することで、分散正則化を採用する。 セマンティックドリフトによる干渉を軽減するため,セマンティックキャリブレーション(SC)モジュールを開発した。
  論文  参考訳（メタデータ） (2023-08-23T10:59:20Z)
• LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
  本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
  論文  参考訳（メタデータ） (2020-12-21T06:40:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。