論文の概要: CL-LoRA: Continual Low-Rank Adaptation for Rehearsal-Free Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2505.24816v1
• Date: Fri, 30 May 2025 17:19:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:53.093756
• Title: CL-LoRA: Continual Low-Rank Adaptation for Rehearsal-Free Class-Incremental Learning
• Title（参考訳）: CL-LoRA:リハーサルなしクラスインクリメンタルラーニングのための連続低ランク適応
• Authors: Jiangpeng He, Zhihao Duan, Fengqing Zhu,
• Abstract要約: CIL (Class-Incremental Learning) は、学習した授業の知識を維持しつつ、新しいクラスを逐次学習することを目的としている。 我々は,textbftask-sharedアダプタを併用して,クロスタスク知識とtextbftask-specific Adapter を学習し,各タスクのユニークな特徴を捉えた新しいデュアルアダプタアーキテクチャを提案する。 CL-LoRAは、トレーニングと推論の計算を減らし、複数のベンチマークで常に有望な性能を達成することを実証する。
• 参考スコア（独自算出の注目度）: 8.81873424028249
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class-Incremental Learning (CIL) aims to learn new classes sequentially while retaining the knowledge of previously learned classes. Recently, pre-trained models (PTMs) combined with parameter-efficient fine-tuning (PEFT) have shown remarkable performance in rehearsal-free CIL without requiring exemplars from previous tasks. However, existing adapter-based methods, which incorporate lightweight learnable modules into PTMs for CIL, create new adapters for each new task, leading to both parameter redundancy and failure to leverage shared knowledge across tasks. In this work, we propose ContinuaL Low-Rank Adaptation (CL-LoRA), which introduces a novel dual-adapter architecture combining \textbf{task-shared adapters} to learn cross-task knowledge and \textbf{task-specific adapters} to capture unique features of each new task. Specifically, the shared adapters utilize random orthogonal matrices and leverage knowledge distillation with gradient reassignment to preserve essential shared knowledge. In addition, we introduce learnable block-wise weights for task-specific adapters, which mitigate inter-task interference while maintaining the model's plasticity. We demonstrate CL-LoRA consistently achieves promising performance under multiple benchmarks with reduced training and inference computation, establishing a more efficient and scalable paradigm for continual learning with pre-trained models.
• Abstract（参考訳）: CIL (Class-Incremental Learning) は、学習した授業の知識を維持しつつ、新しいクラスを逐次学習することを目的としている。 近年,PTM(Pre-trained Model)とPEFT(Parager- efficient Fine-tuning)が組み合わさって,従来のタスクを省略することなく,リハーサルのないCILにおいて顕著な性能を示した。 しかし、CIL用のPTMに軽量の学習可能なモジュールを組み込んだ既存のアダプタベースのメソッドは、新しいタスクごとに新しいアダプタを作成し、パラメータの冗長性とタスク間の共有知識の活用に失敗する。 本研究では,クロスタスクの知識を学習するために \textbf{task-shared Adaptation} と \textbf{task-specific Adaptation} を組み合わせて,新しいタスクのユニークな特徴を捉えた新しいデュアルアダプタアーキテクチャであるContinualaL Low-Rank Adaptation (CL-LoRA)を提案する。 具体的には、共有アダプタはランダム直交行列を利用し、グラデーション再割り当てによる知識蒸留を利用して、本質的な共有知識を保持する。 さらに,モデルの可塑性を維持しながらタスク間干渉を緩和するタスク固有アダプタに対して,学習可能なブロックワイドを導入する。 CL-LoRAは、トレーニングと推論の計算を減らし、トレーニング済みのモデルによる連続学習のためのより効率的でスケーラブルなパラダイムを確立することで、複数のベンチマークで常に有望な性能を達成することを実証する。

関連論文リスト

• FM-LoRA: Factorized Low-Rank Meta-Prompting for Continual Learning [19.068489119024388]
  連続学習は、シーケンシャルなタスクに事前訓練されたモデルを活用するための有望なアプローチとして登場した。 既存のCLメソッドの多くは、ローランド適応(LoRA)アダプタやプロンプトなどの学習構造を漸進的に格納する。 動的階数セレクタ(DRS)と動的メタプロンプティング(DMP)の両方を統合した,新規で効率的な低ランク適応手法FM-LoRAを提案する。
  論文  参考訳（メタデータ） (2025-04-09T19:36:18Z)
• Adapter-Enhanced Semantic Prompting for Continual Learning [91.63494614012362]
  継続学習(CL)は、モデルが進化するデータストリームに適応できるようにする。 従来のメソッドは通常、再生のために過去のデータを保持したり、新しい知識を学ぶためにモデルに追加のブランチを追加したりします。 本稿では,プロンプトチューニングとアダプタ技術を統合した軽量CLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-15T06:14:55Z)
• LW2G: Learning Whether to Grow for Prompt-based Continual Learning [15.766350352592331]
  最近のPrompt-based Continual Learning (PCL) は、事前学習モデル(PTM)による顕著なパフォーマンスを実現している。 我々は,タスク間の相違に基づいて,成長するかどうか (LW2G) をtextbfLearn Wearn に送信するプラグインモジュールを提案する。 グラディエント・プロジェクションの継続学習にインスパイアされたLW2Gは、Hinder Forward Capability(HFC)と呼ばれるメトリクスを開発し、新しいタスクの学習に課される障害を測定する。
  論文  参考訳（メタデータ） (2024-09-27T15:55:13Z)
• Dynamic Integration of Task-Specific Adapters for Class Incremental Learning [32.124078616314144]
  非典型的なクラス インクリメンタルラーニング (NECIL) では、モデルがスクラッチからリトレーニングしたり、古いタスク インクリメンタルを格納したりすることなく、新しいクラスを継続的に取得できる。 本稿では,タスク特化アダプタ統合(TSAI)とパッチレベルモデルアライメントという,タスク特化アダプタの動的統合(DIA)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-23T13:01:33Z)
• Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
  PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。 タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。 我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
  論文  参考訳（メタデータ） (2024-03-18T17:58:13Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
  モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。 古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。 我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-03-31T13:46:41Z)
• Adversarial Continual Learning [99.56738010842301]
  本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。 本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
  論文  参考訳（メタデータ） (2020-03-21T02:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。