論文の概要: KeepLoRA: Continual Learning with Residual Gradient Adaptation

• arxiv url: http://arxiv.org/abs/2601.19659v1
• Date: Tue, 27 Jan 2026 14:38:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-28 15:26:51.349828
• Title: KeepLoRA: Continual Learning with Residual Gradient Adaptation
• Title（参考訳）: KeepLoRA: 残留勾配適応による継続的学習
• Authors: Mao-Lin Luo, Zi-Hao Zhou, Yi-Lin Zhang, Yuanyu Wan, Tong Wei, Min-Ling Zhang,
• Abstract要約: 事前学習された視覚言語モデルの継続的な学習には、3つの競合する目標のバランスが必要である。 本稿では、これらの目的を効果的にバランスさせるために、KeepLoRAと呼ばれるシンプルで効果的なアプローチを提案する。
• 参考スコア（独自算出の注目度）: 70.16296045857659
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning for pre-trained vision-language models requires balancing three competing objectives: retaining pre-trained knowledge, preserving knowledge from a sequence of learned tasks, and maintaining the plasticity to acquire new knowledge. This paper presents a simple but effective approach called KeepLoRA to effectively balance these objectives. We first analyze the knowledge retention mechanism within the model parameter space and find that general knowledge is mainly encoded in the principal subspace, while task-specific knowledge is encoded in the residual subspace. Motivated by this finding, KeepLoRA learns new tasks by restricting LoRA parameter updates in the residual subspace to prevent interfering with previously learned capabilities. Specifically, we infuse knowledge for a new task by projecting its gradient onto a subspace orthogonal to both the principal subspace of pre-trained model and the dominant directions of previous task features. Our theoretical and empirical analyses confirm that KeepLoRA balances the three objectives and achieves state-of-the-art performance. The implementation code is available at https://github.com/MaolinLuo/KeepLoRA.
• Abstract（参考訳）: 事前学習された視覚言語モデルの継続的な学習には、事前学習された知識の保持、学習された一連のタスクからの知識の保存、新しい知識を得るための可塑性の維持という3つの競合する目標のバランスが必要である。 本稿では、これらの目的を効果的にバランスさせるために、KeepLoRAと呼ばれるシンプルで効果的なアプローチを提案する。 まず、モデルパラメータ空間内の知識保持機構を分析し、一般的な知識が主部分空間に主にエンコードされているのに対して、タスク固有の知識は残留部分空間にエンコードされていることを確認する。 この発見に動機づけられたKeepLoRAは、残余部分空間におけるLoRAパラメータの更新を制限し、以前に学習した機能との干渉を防ぐことで、新しいタスクを学習する。 具体的には、事前学習されたモデルの主部分空間と以前のタスク特徴の主方向の両方に直交する部分空間に勾配を投影することで、新しいタスクの知識を注入する。 理論的および実証的な分析により、KeepLoRAは3つの目標のバランスを保ち、最先端の性能を達成することが確認された。 実装コードはhttps://github.com/MaolinLuo/KeepLoRAで公開されている。

関連論文リスト

• Merge before Forget: A Single LoRA Continual Learning via Continual Merging [13.950131092976248]
  現在のLow-Rank Adaptation (LoRA) 連続学習技術は、学習済みのLoRAを保持・凍結したり、忘れることを避けるためにデータ表現を生成することが多い。 本稿では,LoRAの更新を1つの統一LoRAに逐次マージする連続学習手法を提案する。
  論文  参考訳（メタデータ） (2025-12-28T17:37:57Z)
• SC-LoRA: Balancing Efficient Fine-tuning and Knowledge Preservation via Subspace-Constrained LoRA [12.037328436961431]
  Subspace-Constrained LoRA (SC-LoRA)は、効率的な微調整と知識保存のトレードオフをナビゲートするために設計された新しいLoRAフレームワークである。 我々の実験では、SC-LoRAは優れた微調整性能を実現するのに成功し、知識の忘れを著しく減らした。
  論文  参考訳（メタデータ） (2025-05-29T17:55:21Z)
• SplitLoRA: Balancing Stability and Plasticity in Continual Learning Through Gradient Space Splitting [68.00007494819798]
  継続的な学習には、安定性を保ちながら複数のタスクを連続的に学習するモデルが必要である。 グラディエント・プロジェクションはCLにおいて有効で一般的なパラダイムとして現れ、以前に学習したタスクの勾配空間を2つの部分空間に分割する。 新しいタスクは小部分空間内で効果的に学習され、これにより以前取得した知識との干渉が軽減される。 既存の勾配射影法は、勾配空間を適切に分割することが困難であるため、塑性と安定性の最適なバランスを達成するのに苦労する。
  論文  参考訳（メタデータ） (2025-05-28T13:57:56Z)
• Practical Continual Forgetting for Pre-trained Vision Models [61.41125567026638]
  現実のシナリオでは、選択的な情報は事前訓練されたモデルから継続的に取り除かれることが期待される。 この問題を3つの重要な課題を連続的に忘れ、識別するものとして定義する。 本稿ではまず,各忘れるタスクに対してTransformerブロック内のFFN層を微調整するグループスパースLoRA(GS-LoRA)を提案する。 顔認識,物体検出,画像分類に関する広範な実験を行い,他のクラスへの影響を最小限に抑えながら,特定のクラスを忘れることが実証された。
  論文  参考訳（メタデータ） (2025-01-16T17:57:53Z)
• Adaptive Rank, Reduced Forgetting: Knowledge Retention in Continual Learning Vision-Language Models with Dynamic Rank-Selective LoRA [26.079123341965687]
  低ランク学習を研究し,LoRAのランクや配置が学習や忘れにどのように影響するかを分析した。 上位のLoRAはタスク学習(塑性)を改善するが、下位のLoRAは安定性を高めるが適応を制限する。 そこで我々は,適応的に最適化されたLoRAアダプタを用いてPTMを継続的に更新する連続動的ランク選択LoRA(CoDyRA)を提案する。
  論文  参考訳（メタデータ） (2024-12-01T23:41:42Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。