論文の概要: Revisiting Weight Regularization for Low-Rank Continual Learning

• arxiv url: http://arxiv.org/abs/2602.17559v1
• Date: Thu, 19 Feb 2026 17:13:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-20 15:21:29.23373
• Title: Revisiting Weight Regularization for Low-Rank Continual Learning
• Title（参考訳）: 低ランク連続学習のための重み正規化の再検討
• Authors: Yaoyue Zheng, Yin Zhang, Joost van de Weijer, Gido M van de Ven, Shaoyi Du, Xuetao Zhang, Zhiqiang Tian,
• Abstract要約: 大規模事前学習モデル(PTM)を用いた連続学習が近年注目されている。 タスク干渉は通常、低ランクアダプタのようなトレーニング中にタスク固有のモジュールを割り当てることによって緩和される。 EWC(Elastic Weight Consolidation)のような重み正規化技術は、CL-Remainにおける鍵となる戦略である。
• 参考スコア（独自算出の注目度）: 42.550292504567935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual Learning (CL) with large-scale pre-trained models (PTMs) has recently gained wide attention, shifting the focus from training from scratch to continually adapting PTMs. This has given rise to a promising paradigm: parameter-efficient continual learning (PECL), where task interference is typically mitigated by assigning a task-specific module during training, such as low-rank adapters. However, weight regularization techniques, such as Elastic Weight Consolidation (EWC)-a key strategy in CL-remain underexplored in this new paradigm. In this paper, we revisit weight regularization in low-rank CL as a new perspective for mitigating task interference in PECL. Unlike existing low-rank CL methods, we mitigate task interference by regularizing a shared low-rank update through EWC, thereby keeping the storage requirement and inference costs constant regardless of the number of tasks. Our proposed method EWC-LoRA leverages a low-rank representation to estimate parameter importance over the full-dimensional space. This design offers a practical, computational- and memory-efficient solution for CL with PTMs, and provides insights that may inform the broader application of regularization techniques within PECL. Extensive experiments on various benchmarks demonstrate the effectiveness of EWC-LoRA, achieving a stability-plasticity trade-off superior to existing low-rank CL approaches. These results indicate that, even under low-rank parameterizations, weight regularization remains an effective mechanism for mitigating task interference. Code is available at: https://github.com/yaoyz96/low-rank-cl.
• Abstract（参考訳）: 大規模事前学習モデル(PTM)を備えた連続学習(CL)が最近注目され、トレーニングをスクラッチから継続的適応型PTMへとシフトした。 パラメータ効率のよい連続学習(PECL)では、低ランクアダプタのようなトレーニング中にタスク固有のモジュールを割り当てることで、タスク干渉が軽減される。 しかし, この新パラダイムでは, CL-remain の重要な戦略として, EWC (Elastic Weight Consolidation) などの重み正規化技術が検討されている。 本稿では,PECLにおけるタスク干渉を緩和する新しい視点として,低ランクCLにおける重み規則化を再考する。 従来の低ランクCL法とは異なり、EWCによる共有低ランク更新を正規化することによりタスク干渉を軽減し、タスク数に関係なく、ストレージ要件と推論コストを一定に抑える。 提案手法は,低ランク表現を利用して全次元空間上のパラメータの重要度を推定する。 この設計は, PTM を用いた CL の実用的な, 計算, メモリ効率のソリューションを提供し, PECL 内での正規化手法の広範な適用を示唆する洞察を提供する。 様々なベンチマークにおいて、EWC-LoRAの有効性が実証され、既存の低ランクCLアプローチよりも安定性と塑性のトレードオフが達成された。 これらの結果は、低ランクパラメータ化の下でも、重み正規化はタスク干渉を緩和するための効果的なメカニズムであることを示している。 コードは、https://github.com/yaoyz96/low-rank-cl.comで入手できる。

関連論文リスト

• Astro: Activation-guided Structured Regularization for Outlier-Robust LLM Post-Training Quantization [56.5199302532159]
  本稿では, アクティベーション誘導型構造正規化フレームワークを提案する。 Astroは内在的に頑丈な重量を積極的に再構成し、高マグニチュードの活性化に対応する重量の降圧を積極的に抑制する。 Astroは競争力が高く、特にLLaMA-2-7Bでは、量子化時間の1/3近くを持つ複雑な学習ベースの回転法よりも優れた性能を達成している。
  論文  参考訳（メタデータ） (2026-02-07T15:50:18Z)
• Parameter Efficient Continual Learning with Dynamic Low-Rank Adaptation [19.48677836920734]
  連続学習(CL)におけるディープニューラルネットワークにとって、破滅的な忘れは依然として重要な課題である。 CLトレーニング中にLoRAコンポーネントの動的ランクアロケーションを必要とするリハーサルフリーなCLフレームワークであるPEARLを紹介する。
  論文  参考訳（メタデータ） (2025-05-17T13:19:01Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
  我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)
• LoRanPAC: Low-rank Random Features and Pre-trained Models for Bridging Theory and Practice in Continual Learning [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 理論的に健全で高性能な単純なCL法を設計することで,このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。