論文の概要: One Adapter, Many Tasks: Task-Conditioned Feature Transformations for Continual Learning
- arxiv url: http://arxiv.org/abs/2608.31096v1
- Date: Mon, 31 Aug 2026 17:03:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.531943
- Title: One Adapter, Many Tasks: Task-Conditioned Feature Transformations for Continual Learning
- Title（参考訳）: タスク・アダプタと多くのタスク:継続的学習のためのタスク記述型特徴変換
- Abstract要約: textbfFACET: task-conditioned textbfFetextbfAture transformation with textbfConditiontextbfEd feature consistextbfTency。
本手法は,トレーニング可能なパラメータとGFLOPを著しく少なくし,優れた性能を実現する。
- 参考スコア（独自算出の注目度）: 45.405420567098155
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Class-incremental learning (CIL) requires a model to incrementally learn tasks that contain new classes without accessing earlier training data while preserving the ability to recognize all seen classes. Recently, pretrained-model-based approaches have become prevalent by adapting a frozen backbone with additional lightweight trainable modules. Existing methods, however, exhibit limitations: task-specific adapters learn explicit per-task representations but are parameter- and computation-inefficient, while LoRA-based merging methods combine per-task LoRA parameters into a single model whose static aggregated weights cause representation interference during inference. To address these problems, we present \textbf{FACET}: task-conditioned \textbf{F}e\textbf{A}ture transformation with \textbf{C}ondition\textbf{E}d feature consis\textbf{T}ency, achieving excellent parameter efficiency while producing highly discriminative features during inference. When continually trained on a task sequence, FACET learns a single shared adapter that employs a dynamic task-conditioned feature transformation, shaping the overall feature distribution of the adapter into a mixture of overlap-reduced task-specific components. On the other hand, we propose an efficient replay-free task-conditioned feature consistency loss, aiming to mitigate catastrophic forgetting of the learned mixture distribution in the adapter's feature space. Even when maintaining only a single adapter, FACET demonstrates robust scalability. On both very long task sequences (e.g., 200 tasks) and standard short task sequences (e.g., 20 tasks), our method achieves superior performance while using significantly fewer trainable parameters and GFLOPs. The code will be made open source upon acceptance.
- Abstract（参考訳）: クラス増分学習(Class-incremental Learning, CIL)は、すべてのクラスを認識する能力を維持しながら、事前のトレーニングデータにアクセスせずに、新しいクラスを含むタスクを段階的に学習するモデルを必要とする。
近年,凍結したバックボーンに軽量なトレーニング可能なモジュールを追加することで,事前学習モデルに基づくアプローチが普及している。
タスク固有のアダプタは、明示的なタスク毎の表現を学習するが、パラメータと計算非効率であるのに対して、LoRAベースのマージメソッドは、タスク毎のLoRAパラメータを静的集約重みが推論中に表現干渉を引き起こす単一のモデルに結合する。
これらの問題を解決するために,タスク条件付き \textbf{F}e\textbf{A}ture transformation with \textbf{C}ondition\textbf{E}d feature consis\textbf{T}ency を示す。
タスクシーケンスを継続的にトレーニングすると、FACETは動的タスク条件付き特徴変換を利用する単一の共有アダプタを学び、アダプタの全体的な特徴分布をオーバーラップしたタスク固有のコンポーネントの混合に形成する。
一方,適応器の特徴空間における学習された混合分布の破滅的忘れを緩和することを目的とした,効率的なリプレイフリータスク条件付き特徴整合損失を提案する。
1つのアダプタだけをメンテナンスしても、FACETは堅牢なスケーラビリティを示す。
非常に長いタスクシーケンス(例えば、200タスク)と標準のタスクシーケンス(例えば、20タスク)では、トレーニング可能なパラメータやGFLOPをはるかに少なく使用しながら、優れたパフォーマンスを実現している。
コードがオープンソースになるのは受け入れ次第です。
関連論文リスト
- Latent-LoRA: Compact Latent-Space Adapters with Gradient-Free Routing for Continual Learning [2.749219725903528]
大規模言語モデルは個々のタスクによく当てはまるが、それらをシーケンシャルに学習する固有のメカニズムは欠如している。
LoRAベースの連続学習手法はタスクごとに個別の低ランクアダプタを割り当てるが、既存のアプローチでは推論時にタスクの同一性を必要とするか、全てのアダプタを無差別にまとめる必要がある。
最近のゲーティングベースのソリューションは、正しいアダプタへの入力をルートするが、それ自体が忘れることを防ぐために保護を必要とするトレーニング可能なパラメータを導入する。
Latent-LoRAはリプレイフリーで、トレーニング可能なルーティングコンポーネントを必要としない。
論文 参考訳（メタデータ） (2026-07-26T20:42:56Z) - TRACE: Discovering Task-Specific Parameter via Adaptation-Aware Probing for Continual Fine-Tuning [33.07713704586859]
本稿では,タスク固有のpaRameterを探索するための新しいアプローチであるTRACEを紹介する。
提案手法の優れた性能を示すため,複数の標準ベンチマークを用いて実験を行った。
論文 参考訳（メタデータ） (2026-05-29T08:57:06Z) - Parameter-Efficient Multi-Task Learning via Progressive Task-Specific Adaptation [5.461305353111217]
タスク固有のマルチタスク適応を導入し、マルチタスク学習のための新しいパラメータ効率のアプローチを提案する。
提案手法は,訓練可能なパラメータの数を削減しつつ,単一タスクの微調整に対してより優れた相対的改善を実現する。
論文 参考訳（メタデータ） (2025-09-23T21:51:04Z) - CL-LoRA: Continual Low-Rank Adaptation for Rehearsal-Free Class-Incremental Learning [8.81873424028249]
CIL (Class-Incremental Learning) は、学習した授業の知識を維持しつつ、新しいクラスを逐次学習することを目的としている。
我々は,textbftask-sharedアダプタを併用して,クロスタスク知識とtextbftask-specific Adapter を学習し,各タスクのユニークな特徴を捉えた新しいデュアルアダプタアーキテクチャを提案する。
CL-LoRAは、トレーニングと推論の計算を減らし、複数のベンチマークで常に有望な性能を達成することを実証する。
論文 参考訳（メタデータ） (2025-05-30T17:19:52Z) - LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging [80.17238673443127]
LiNeSは、微調整タスク性能を向上しつつ、事前訓練された一般化を維持するために設計されたポストトレーニング編集技術である。
LiNeSは、視覚と自然言語処理のさまざまなベンチマークにおいて、シングルタスクとマルチタスクの両方で大幅に改善されている。
論文 参考訳（メタデータ） (2024-10-22T16:26:05Z) - PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。
近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
論文 参考訳（メタデータ） (2024-07-04T10:37:58Z) - Task Indicating Transformer for Task-conditional Dense Predictions [16.92067246179703]
この課題に対処するために,タスク表示変換(TIT)と呼ばれる新しいタスク条件フレームワークを導入する。
本手法では,行列分解によるタスク指示行列を組み込んだMix Task Adapterモジュールをトランスフォーマーブロック内に設計する。
また,タスク表示ベクトルとゲーティング機構を利用するタスクゲートデコーダモジュールを提案する。
論文 参考訳（メタデータ） (2024-03-01T07:06:57Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2022-03-30T23:16:07Z) - Efficient Continual Adaptation for Generative Adversarial Networks [97.20244383723853]
GAN(Generative Adversarial Network)に対する連続学習手法を提案する。
我々のアプローチは、グローバルパラメータとタスク固有のパラメータのセットを学習することに基づいている。
機能マップ変換に基づくアプローチは,最先端のgans手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-03-06T05:09:37Z) - Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。
diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
論文 参考訳（メタデータ） (2020-12-14T12:34:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。