論文の概要: DRL: Discriminative Representation Learning with Parallel Adapters for Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2510.12107v1
• Date: Tue, 14 Oct 2025 03:19:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.170326
• Title: DRL: Discriminative Representation Learning with Parallel Adapters for Class Incremental Learning
• Title（参考訳）: DRL:クラスインクリメンタル学習のための並列適応器を用いた識別的表現学習
• Authors: Jiawei Zhan, Jun Liu, Jinlong Peng, Xiaochen Chen, Bin-Bin Gao, Yong Liu, Chengjie Wang,
• Abstract要約: 本稿では,これらの課題に対処するための差別的表現学習(DRL)フレームワークを提案する。 逐次学習を効果的かつ効率的に行うために、DRLのネットワークはPTM上に構築される。 我々のDRLは、CIL時代を通して、他の最先端の手法よりも一貫して優れています。
• 参考スコア（独自算出の注目度）: 63.65467569295623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the excellent representation capabilities of Pre-Trained Models (PTMs), remarkable progress has been made in non-rehearsal Class-Incremental Learning (CIL) research. However, it remains an extremely challenging task due to three conundrums: increasingly large model complexity, non-smooth representation shift during incremental learning and inconsistency between stage-wise sub-problem optimization and global inference. In this work, we propose the Discriminative Representation Learning (DRL) framework to specifically address these challenges. To conduct incremental learning effectively and yet efficiently, the DRL's network, called Incremental Parallel Adapter (IPA) network, is built upon a PTM and increasingly augments the model by learning a lightweight adapter with a small amount of parameter learning overhead in each incremental stage. The adapter is responsible for adapting the model to new classes, it can inherit and propagate the representation capability from the current model through parallel connection between them by a transfer gate. As a result, this design guarantees a smooth representation shift between different incremental stages. Furthermore, to alleviate inconsistency and enable comparable feature representations across incremental stages, we design the Decoupled Anchor Supervision (DAS). It decouples constraints of positive and negative samples by respectively comparing them with the virtual anchor. This decoupling promotes discriminative representation learning and aligns the feature spaces learned at different stages, thereby narrowing the gap between stage-wise local optimization over a subset of data and global inference across all classes. Extensive experiments on six benchmarks reveal that our DRL consistently outperforms other state-of-the-art methods throughout the entire CIL period while maintaining high efficiency in both training and inference phases.
• Abstract（参考訳）: 事前学習モデル(PTM)の優れた表現能力により、非リハーサルクラスインクリメンタルラーニング(CIL)研究において顕著な進歩が見られた。 モデル複雑性の増大、漸進的な学習における非滑らかな表現シフト、ステージワイドなサブプロブレム最適化とグローバル推論の不整合である。 本研究では,これらの課題に対処するための識別表現学習(DRL)フレームワークを提案する。 インクリメンタル・パラレル・アダプタ(IPA)ネットワークと呼ばれるDRLのネットワークは,PTM上に構築され,各インクリメンタル段階において,少ないパラメータ学習オーバーヘッドで軽量なアダプタを学習することにより,モデルをさらに強化する。 アダプタは新しいクラスにモデルを適用する責任があり、転送ゲートによってそれらの間の並列接続を通じて、現在のモデルから表現能力を継承し、伝播することができる。 結果として、この設計は異なる段階間の滑らかな表現シフトを保証する。 さらに、不整合を緩和し、段階的に比較可能な特徴表現を可能にするために、Decoupled Anchor Supervision (DAS) を設計する。 正と負のサンプルの制約をそれぞれ仮想アンカーと比較することで分離する。 この分離は、識別的表現学習を促進し、異なる段階で学習した特徴空間を整列させ、それによって、データのサブセットに対するステージワイドな局所最適化と全クラスにわたるグローバル推論とのギャップを狭める。 6つのベンチマークの大規模な実験により、我々のDRLはCIL期間全体を通して、トレーニングと推論の両フェーズにおいて高い効率を維持しながら、他の最先端の手法よりも一貫して優れています。

関連論文リスト

• Diffusion-Classifier Synergy: Reward-Aligned Learning via Mutual Boosting Loop for FSCIL [19.094835780362775]
  FSCIL(Few-Shot Class-Incremental Learning)は、最小限の例から新しいクラスを逐次学習するモデルに挑戦する。 現在のFSCIL法は、限られたデータセットに依存するため、一般化に苦慮することが多い。 本稿では拡散モデルとFSCIL分類器の相互強化ループを確立する新しいフレームワークであるDiffusion-Classifier Synergy(DCS)を紹介する。
  論文  参考訳（メタデータ） (2025-10-04T01:48:52Z)
• MMRL++: Parameter-Efficient and Interaction-Aware Representation Learning for Vision-Language Models [4.828668077793944]
  マルチモーダル表現学習は、テキストと画像エンコーダの両方に投影された空間トークンを表現トークンとして生成する。 MML++はパラメータ効率と対話性を考慮した拡張で、トレーニング可能なパラメータを大幅に削減する。 15データセットの実験では、MMRLとMMRL++が一貫して最先端のメソッドより優れていることが示されている。
  論文  参考訳（メタデータ） (2025-05-15T08:43:53Z)
• Contrastive-Adversarial and Diffusion: Exploring pre-training and fine-tuning strategies for sulcal identification [3.0398616939692777]
  対人学習、コントラスト学習、拡散認知学習、通常の再構成学習といった技術が標準となっている。 この研究は、ニューラルネットワークの学習プロセスを強化するために、事前学習技術と微調整戦略の利点を解明することを目的としている。
  論文  参考訳（メタデータ） (2024-05-29T15:44:51Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• Neural Architecture for Online Ensemble Continual Learning [6.241435193861262]
  我々は、エンドツーエンドのニューラルネットワークのアンサンブルを効率的に訓練できる、完全に微分可能なアンサンブル法を提案する。 提案手法は,メモリバッファを使わずにSOTA結果が得られ,参照手法よりも明らかに優れている。
  論文  参考訳（メタデータ） (2022-11-27T23:17:08Z)
• Improving GANs with A Dynamic Discriminator [106.54552336711997]
  我々は、オンザフライで調整可能な判別器は、そのような時間変化に適応できると論じる。 総合的な実証研究により、提案したトレーニング戦略がDynamicDと呼ばれ、追加のコストやトレーニング目標を発生させることなく、合成性能を向上させることが確認された。
  論文  参考訳（メタデータ） (2022-09-20T17:57:33Z)
• Mimicking the Oracle: An Initial Phase Decorrelation Approach for Class Incremental Learning [141.35105358670316]
  本研究では,Na"訓練初期相モデルとオラクルモデルとの相違について検討する。 より均一に散らばるように,各クラスの表現を効果的に正規化するクラスワイド・デコレーション(CwD)を提案する。 私たちのCwDは実装が簡単で、既存のメソッドに簡単にプラグインできます。
  論文  参考訳（メタデータ） (2021-12-09T07:20:32Z)
• Generalized Zero-Shot Learning Via Over-Complete Distribution [79.5140590952889]
  そこで本稿では,CVAE (Conditional Variational Autoencoder) を用いたOCD(Over-Complete Distribution) の生成を提案する。 フレームワークの有効性は,Zero-Shot LearningプロトコルとGeneralized Zero-Shot Learningプロトコルの両方を用いて評価する。
  論文  参考訳（メタデータ） (2020-04-01T19:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。