論文の概要: SplitLoRA: Balancing Stability and Plasticity in Continual Learning Through Gradient Space Splitting

• arxiv url: http://arxiv.org/abs/2505.22370v3
• Date: Wed, 11 Jun 2025 12:54:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-12 23:41:16.693224
• Title: SplitLoRA: Balancing Stability and Plasticity in Continual Learning Through Gradient Space Splitting
• Title（参考訳）: SplitLoRA: グラディエント空間分割による継続的な学習における安定性と塑性のバランス
• Authors: Haomiao Qiu, Miao Zhang, Ziyue Qiao, Weili Guan, Min Zhang, Liqiang Nie,
• Abstract要約: 継続的な学習には、安定性を保ちながら複数のタスクを連続的に学習するモデルが必要である。 グラディエント・プロジェクションはCLにおいて有効で一般的なパラダイムとして現れ、以前に学習したタスクの勾配空間を2つの部分空間に分割する。 新しいタスクは小部分空間内で効果的に学習され、これにより以前取得した知識との干渉が軽減される。 既存の勾配射影法は、勾配空間を適切に分割することが困難であるため、塑性と安定性の最適なバランスを達成するのに苦労する。
• 参考スコア（独自算出の注目度）: 68.00007494819798
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual Learning requires a model to learn multiple tasks in sequence while maintaining both stability:preserving knowledge from previously learned tasks, and plasticity:effectively learning new tasks. Gradient projection has emerged as an effective and popular paradigm in CL, where it partitions the gradient space of previously learned tasks into two orthogonal subspaces: a primary subspace and a minor subspace. New tasks are learned effectively within the minor subspace, thereby reducing interference with previously acquired knowledge. However, existing Gradient Projection methods struggle to achieve an optimal balance between plasticity and stability, as it is hard to appropriately partition the gradient space. In this work, we consider a continual learning paradigm based on Low-Rank Adaptation, which has gained considerable attention due to its efficiency and wide applicability, and propose a novel approach for continual learning, called SplitLoRA. We first provide a theoretical analysis of how subspace partitioning affects model stability and plasticity. Informed by this analysis, we then introduce an effective method that derives the optimal partition of the gradient space for previously learned tasks. This approach effectively balances stability and plasticity in continual learning. Experimental results on multiple datasets demonstrate that the proposed method achieves state-of-the-art performance.
• Abstract（参考訳）: 継続的な学習には、安定性を保ちながら複数のタスクを連続的に学習するモデルが必要である。 グラディエント射影はCLにおいて有効で一般的なパラダイムとして現れており、そこでは以前に学んだタスクの勾配空間を2つの直交部分空間(プライマリ部分空間とマイナー部分空間)に分割する。 新しいタスクは小部分空間内で効果的に学習され、これにより以前取得した知識との干渉が軽減される。 しかし、既存の勾配射影法は、勾配空間を適切に分割することが困難であるため、塑性と安定性の最適バランスを達成するのに苦労する。 本研究では,その効率性と適用性から注目を集めている低ランク適応に基づく連続学習パラダイムを考察し,SplitLoRAと呼ばれる連続学習のための新しいアプローチを提案する。 まず、部分空間分割がモデルの安定性と可塑性にどのように影響するかを理論的に分析する。 そこで本研究では,従来学習されていたタスクに対して,勾配空間の最適分割を導出する効果的な手法を提案する。 このアプローチは継続的な学習における安定性と可塑性を効果的にバランスさせる。 複数のデータセットに対する実験結果から,提案手法が最先端性能を実現することを示す。

関連論文リスト

• Identifying Policy Gradient Subspaces [42.75990181248372]
  ポリシー勾配法は、複雑な連続制御タスクを解く大きな可能性を秘めている。 最近の研究は、勾配が低次元でゆっくりと変化する部分空間にあるという事実を活用することで教師あり学習を加速できることを示している。
  論文  参考訳（メタデータ） (2024-01-12T14:40:55Z)
• Class Gradient Projection For Continual Learning [99.105266615448]
  破滅的な忘れは継続的学習(CL)における最も重要な課題の1つです。 タスクではなく個々のクラスから勾配部分空間を計算するクラスグラディエント・プロジェクション(CGP)を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:45:56Z)
• Keep Moving: identifying task-relevant subspaces to maximise plasticity for newly learned tasks [0.22499166814992438]
  継続学習アルゴリズムは、事前情報を保持しながら、新しい知識を獲得しようとする。 これらのアルゴリズムは、しばしば安定性を強調し、新しいタスクを学習する際のネットワーク更新を制限する。 しかし、すべては有害か? 本稿では,ニューラルネットワークの活性化空間を2つの部分空間に分解できることを提案する。
  論文  参考訳（メタデータ） (2023-10-07T08:54:43Z)
• On the Stability-Plasticity Dilemma of Class-Incremental Learning [50.863180812727244]
  クラス増分学習の第一の目的は、安定性と可塑性のバランスをとることである。 本稿では,近年のクラス増分学習アルゴリズムが,安定性と塑性のトレードオフにいかに効果的かを明らかにすることを目的とする。
  論文  参考訳（メタデータ） (2023-04-04T09:34:14Z)
• PlaStIL: Plastic and Stable Memory-Free Class-Incremental Learning [49.0417577439298]
  過去の知識を保ちながら新しいデータから学ぶためには、クラス増分学習において塑性と安定性が必要である。 そこで本稿では, 可塑性と安定性のバランスを良くするために, パラメータ数に類似する手法を提案する。
  論文  参考訳（メタデータ） (2022-09-14T12:53:00Z)
• Balancing Stability and Plasticity through Advanced Null Space in Continual Learning [77.94570903726856]
  我々は,従来のタスクの古いデータを格納することなく,安定性と可塑性のバランスをとるために,新しい連続学習手法Advanced Null Space(AdNS)を提案する。 また,現在のタスクの性能向上を図るため,タスク内蒸留を簡便かつ効果的に行う方法を提案する。 実験結果から,提案手法は最先端の連続学習手法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2022-07-25T11:04:22Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)
• Towards Better Plasticity-Stability Trade-off in Incremental Learning: A simple Linear Connector [8.13916229438606]
  塑性安定性ジレンマはインクリメンタルラーニングの主要な問題である。 本研究では,従来のタスクに対するヌルスペースプロジェクションと,現在のタスクに対する単純なSGDの2つの独立最適化されたネットワークの単純な平均化が,すでに学習した知識の保存と,新しいタスクの学習に十分な柔軟性を付与することとの有意義なバランスを達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-15T07:37:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。