論文の概要: Parameter-Efficient Augment Plugin for Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2512.03537v1
• Date: Wed, 03 Dec 2025 07:57:48 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-12-04 12:16:34.473148
• Title: Parameter-Efficient Augment Plugin for Class-Incremental Learning
• Title（参考訳）: クラス増分学習のためのパラメータ効率向上プラグイン
• Authors: Zhiming Xu, Baile Xu, Jian Zhao, Furao Shen, Suorong Yang,
• Abstract要約: 非事前学習型CILシナリオに対する追加のLoRAコンポーネント(DLC)のデプロイというプラグイン拡張パラダイムを提案する。 提案手法は精度が 8 % 向上し,優れた効率性を示した。
• 参考スコア（独自算出の注目度）: 17.558920457942936
• License:
• Abstract: Existing class-incremental learning (CIL) approaches based on replay or knowledge distillation are often constrained by forgetting or the stability-plasticity dilemma. Some expansion-based approaches could achieve higher accuracy. However, they always require significant parameter increases. In this paper, we propose a plugin extension paradigm termed the Deployment of extra LoRA Components (DLC) for non-pre-trained CIL scenarios.We treat the feature extractor trained through replay or distillation as a base model with rich knowledge. For each task, we use Low-Rank Adaptation (LoRA) to inject task-specific residuals into the base model's deep layers. During inference, representations with task-specific residuals are aggregated to produce classification predictions. To mitigate interference from non-target LoRA plugins, we introduce a lightweight weighting unit. This unit learns to assign importance scores to different LoRA-tuned representations. Like downloadable contents in software, our method serves as a plug-and-play enhancement that efficiently extends the base methods. Remarkably, on the large-scale ImageNet-100, with merely 4 % of the parameters of a standard ResNet-18, our DLC model achieves a significant 8 % improvement in accuracy, demonstrating exceptional efficiency. Moreover, it could surpass state-of-the-art methods under the fixed memory budget.
• Abstract（参考訳）: リプレイや知識蒸留に基づく既存のクラスインクリメンタルラーニング(CIL)アプローチは、しばしば忘れることや安定性・塑性ジレンマによって制約される。 いくつかの拡張ベースのアプローチは、より高い精度を達成することができる。 しかし、それらは常に重要なパラメータの増加を必要とします。 本稿では,未学習のCILシナリオに対して,追加のLoRAコンポーネント(DLC)をデプロイするプラグイン拡張パラダイムを提案し,リプレイや蒸留により訓練した特徴抽出器を,豊富な知識を持つベースモデルとして扱う。 各タスクに対して、ベースモデルの深層層にタスク固有の残留物を注入するために、LoRA(Lo-Rank Adaptation)を使用します。 推論中、タスク固有の残差を持つ表現を集約し、分類予測を生成する。 非ターゲットのLoRAプラグインからの干渉を軽減するため、軽量重み付けユニットを導入する。 このユニットは、LoRAで調整された異なる表現に重要なスコアを割り当てることを学ぶ。 ソフトウェアにおけるダウンロード可能なコンテンツと同様に,本手法は,ベースメソッドを効率的に拡張するプラグイン・アンド・プレイ・エンハンスメントとして機能する。 注目すべきは、大規模なImageNet-100において、標準ResNet-18のパラメータのわずか4%しか持たず、我々のDLCモデルは精度を 8 % 向上させ、例外的な効率を示すことである。 さらに、固定メモリ予算の下で最先端の手法を超える可能性がある。

関連論文リスト

• Remote Sensing Image Classification with Decoupled Knowledge Distillation [2.698114369639173]
  本稿では,知識蒸留に基づく軽量な分類法を提案する。 提案手法は,パラメータ数を6.24倍に削減しつつ,ほぼ同等のTop-1精度を実現する。
  論文  参考訳（メタデータ） (2025-05-25T12:06:28Z)
• PointLoRA: Low-Rank Adaptation with Token Selection for Point Cloud Learning [54.99373314906667]
  ポイントクラウドのための自己教師付き表現学習は、様々なタスクで事前訓練されたモデルパフォーマンスを改善する効果を実証した。 事前訓練されたモデルは複雑さが増すにつれて、下流のアプリケーションに完全に微調整を施すには、かなりの計算資源とストレージ資源が必要である。 そこで我々は,低ランク適応(LoRA)とマルチスケールトークン選択を併用した簡易かつ効果的なPointLoRAを提案する。
  論文  参考訳（メタデータ） (2025-04-22T16:41:21Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• MLAE: Masked LoRA Experts for Visual Parameter-Efficient Fine-Tuning [45.93128932828256]
  Masked LoRA Experts (MLAE) は、視覚的PEFTにマスキングの概念を適用する革新的なアプローチである。 本手法は,低ランク行列を独立したランク1サブマトリクスに変換するセル分解戦略を組み込んだものである。 MLAEは,VTAB-1kベンチマークでは平均78.8%,FGVCベンチマークでは90.9%の精度で,新しい最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2024-05-29T08:57:23Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。