論文の概要: Integrating Task-Specific and Universal Adapters for Pre-Trained Model-based Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2508.08165v1
• Date: Mon, 11 Aug 2025 16:41:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:29.21438
• Title: Integrating Task-Specific and Universal Adapters for Pre-Trained Model-based Class-Incremental Learning
• Title（参考訳）: 事前学習モデルに基づくクラスインクリメンタル学習のためのタスク特化およびユニバーサルアダプタの統合
• Authors: Yan Wang, Da-Wei Zhou, Han-Jia Ye,
• Abstract要約: 本稿では,タスク特化およびユニバーサルアダプタ(TUNA)の統合を提案する。 具体的には、タスク固有のアダプタをトレーニングし、それぞれのタスクに関連する最も重要な特徴をキャプチャします。 我々は,タスク間で共有される最も差別的な特徴を符号化するユニバーサルアダプタを構築するために,アダプタ融合戦略を利用する。
• 参考スコア（独自算出の注目度）: 33.57130798344366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class-Incremental Learning (CIL) requires a learning system to continually learn new classes without forgetting. Existing pre-trained model-based CIL methods often freeze the pre-trained network and adapt to incremental tasks using additional lightweight modules such as adapters. However, incorrect module selection during inference hurts performance, and task-specific modules often overlook shared general knowledge, leading to errors on distinguishing between similar classes across tasks. To address the aforementioned challenges, we propose integrating Task-Specific and Universal Adapters (TUNA) in this paper. Specifically, we train task-specific adapters to capture the most crucial features relevant to their respective tasks and introduce an entropy-based selection mechanism to choose the most suitable adapter. Furthermore, we leverage an adapter fusion strategy to construct a universal adapter, which encodes the most discriminative features shared across tasks. We combine task-specific and universal adapter predictions to harness both specialized and general knowledge during inference. Extensive experiments on various benchmark datasets demonstrate the state-of-the-art performance of our approach. Code is available at: https://github.com/LAMDA-CL/ICCV2025-TUNA
• Abstract（参考訳）: CIL(Class-Incremental Learning)は、学習システムにおいて、忘れずに新しいクラスを継続的に学習することを必要とする。 既存の訓練済みモデルベースのCILメソッドは、しばしば事前訓練されたネットワークを凍結し、アダプタのような追加の軽量モジュールを使用してインクリメンタルなタスクに適応する。 しかし、推論中の間違ったモジュール選択はパフォーマンスを損なうため、タスク固有のモジュールはしばしば共有の一般的な知識を見落とし、タスク間で類似したクラスを区別するエラーを引き起こす。 上記の課題に対処するため,本稿ではタスク特化型およびユニバーサル適応型(TUNA)の統合を提案する。 具体的には、タスク固有のアダプタを訓練し、それぞれのタスクに関連する最も重要な特徴を捕捉し、最も適切なアダプタを選択するエントロピーベースの選択機構を導入する。 さらに,タスク間で共有される最も識別性の高い特徴を符号化するユニバーサルアダプタを構築するために,アダプタ融合戦略を利用する。 タスク固有および普遍的なアダプタ予測を組み合わせることで、推論中に専門知識と一般知識の両方を活用する。 様々なベンチマークデータセットに対する大規模な実験は、我々のアプローチの最先端性能を実証している。 コードは、https://github.com/LAMDA-CL/ICCV2025-TUNAで入手できる。

関連論文リスト

• CL-LoRA: Continual Low-Rank Adaptation for Rehearsal-Free Class-Incremental Learning [8.81873424028249]
  CIL (Class-Incremental Learning) は、学習した授業の知識を維持しつつ、新しいクラスを逐次学習することを目的としている。 我々は,textbftask-sharedアダプタを併用して,クロスタスク知識とtextbftask-specific Adapter を学習し,各タスクのユニークな特徴を捉えた新しいデュアルアダプタアーキテクチャを提案する。 CL-LoRAは、トレーニングと推論の計算を減らし、複数のベンチマークで常に有望な性能を達成することを実証する。
  論文  参考訳（メタデータ） (2025-05-30T17:19:52Z)
• Adapter-Enhanced Semantic Prompting for Continual Learning [91.63494614012362]
  継続学習(CL)は、モデルが進化するデータストリームに適応できるようにする。 従来のメソッドは通常、再生のために過去のデータを保持したり、新しい知識を学ぶためにモデルに追加のブランチを追加したりします。 本稿では,プロンプトチューニングとアダプタ技術を統合した軽量CLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-15T06:14:55Z)
• MergeRepair: An Exploratory Study on Merging Task-Specific Adapters in Code LLMs for Automated Program Repair [5.006064616335817]
  大規模言語モデル(LLM)は、いくつかのソフトウェア開発関連のタスクで高い能力を示している。 アダプタは特定のニーズに合わせてLSMをカスタマイズするより効率的な方法を提供する。 モデル(およびアダプタ)のマージは、複数のタスクが可能な1つのモデルを開発する技術として登場した。
  論文  参考訳（メタデータ） (2024-08-18T18:45:48Z)
• Generalized Few-Shot Continual Learning with Contrastive Mixture of Adapters [59.82088750033897]
  我々は,クラスおよびドメインインクリメンタルな状況を含む汎用FSCL (GFSCL) プロトコルを構築した。 一般的な連続学習手法は、目に見えない領域に一般化能力が乏しいことが判明した。 このようにして、視覚変換器(ViT)に基づくリハーサルフリーフレームワークであるContrastive Mixture of Adapters(CMoA)を提案する。
  論文  参考訳（メタデータ） (2023-02-12T15:18:14Z)
• Multi-Head Adapter Routing for Cross-Task Generalization [56.75667096355806]
  ポリトロポンは、事前訓練と少数ショット適応の両方の間、各タスクのアダプタのサブセットを選択するルーティング関数とアダプタのインベントリを学習する。 複数タスクの事前学習において、数ショットの適応よりもルーティングの方が有益であることがわかった。
  論文  参考訳（メタデータ） (2022-11-07T19:35:55Z)
• Adaptable Adapters [74.65986170056945]
  最先端のNLPモデルには1億から1兆のパラメータが含まれる。 適応アダプタは異なる層と異なる入力データに対して異なるアクティベーション関数を含む。 適応型アダプタは,標準アダプタアーキテクチャを用いてオンパー性能を実現する。
  論文  参考訳（メタデータ） (2022-05-03T14:59:27Z)
• Parameter-efficient Multi-task Fine-tuning for Transformers via Shared Hypernetworks [37.2958914602899]
  共有ハイパーネットワークを用いて、すべてのレイヤやタスクのアダプタパラメータを生成できることを示す。 よく知られたGLUEベンチマークの実験では、タスク当たり0.29%のパラメータしか追加することなく、マルチタスク学習のパフォーマンスが改善された。
  論文  参考訳（メタデータ） (2021-06-08T16:16:40Z)
• AdapterFusion: Non-Destructive Task Composition for Transfer Learning [104.9639614787314]
  逐次微調整とマルチタスク学習は、複数のタスクから知識を取り入れることを目的とした手法である。 本稿では,複数のタスクからの知識を活用する2段階学習アルゴリズムAdapterFusionを提案する。 提案手法は,マルチタスク学習だけでなく,フルチューニングやマルチタスク学習といった従来の戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-01T07:03:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。