論文の概要: Merge before Forget: A Single LoRA Continual Learning via Continual Merging

• arxiv url: http://arxiv.org/abs/2512.23017v1
• Date: Sun, 28 Dec 2025 17:37:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.323782
• Title: Merge before Forget: A Single LoRA Continual Learning via Continual Merging
• Title（参考訳）: Merge before Forget: 継続的マージによる単一LORA連続学習
• Authors: Fuli Qiao, Mehrdad Mahdavi,
• Abstract要約: 現在のLow-Rank Adaptation (LoRA) 連続学習技術は、学習済みのLoRAを保持・凍結したり、忘れることを避けるためにデータ表現を生成することが多い。 本稿では,LoRAの更新を1つの統一LoRAに逐次マージする連続学習手法を提案する。
• 参考スコア（独自算出の注目度）: 13.950131092976248
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient continual learning has emerged as a promising approach for large language models (LLMs) to mitigate catastrophic forgetting while enabling adaptation to new tasks. Current Low-Rank Adaptation (LoRA) continual learning techniques often retain and freeze previously learned LoRAs or generate data representations to overcome forgetting, typically utilizing these to support new LoRAs learn new tasks. However, these methods not only ignore growing computational memory with tasks and limited storage space but also suffer from potential task interference due to the lack of effective LoRA merging mechanisms. In this paper, we propose a novel continual learning method that orthogonally initializes and sequentially merges LoRAs updates into a single unified LoRA. Our method leverages orthogonal basis extraction from previously learned LoRA to initialize the learning of new tasks, further exploits the intrinsic asymmetry property of LoRA components by using a time-aware scaling mechanism to balance new and old knowledge during continual merging. Our approach maintains constant memory complexity with respect to the number of tasks, minimizes interference between past and new tasks via orthogonal basis initialization, and improves performance over asymmetric LoRA merging via adaptive scaling. We provide theoretical analysis to justify our design and conduct extensive experiments across diverse continual learning benchmarks using various Llama models, demonstrating the effectiveness and efficiency of our method.
• Abstract（参考訳）: パラメータ効率のよい連続学習は、大規模言語モデル(LLM)において、新たなタスクへの適応を可能としながら、破滅的な忘れを緩和する有望なアプローチとして現れてきた。 現在のLow-Rank Adaptation (LoRA)連続学習技術は、学習済みのLoRAを保持・凍結したり、忘れることを避けるためにデータ表現を生成することが多い。 しかし、これらの手法は、タスクと限られたストレージ空間を持つ計算メモリの増加を無視するだけでなく、効率的なLoRAマージ機構が欠如しているため、潜在的なタスク干渉に悩まされる。 本稿では,LoRAの更新を直交的に初期化し,逐次的に統一したLoRAにマージする,新しい連続学習手法を提案する。 提案手法は,従来学習されていたLoRAの直交基底抽出を利用して,新たなタスクの学習を初期化するとともに,時間を考慮したスケーリング機構を用いて,新たな知識と古い知識のバランスをとることによって,LoRAコンポーネントの固有非対称性特性を活用する。 提案手法は,タスク数に対するメモリの複雑さを一定に保ち,直交基底初期化による過去と新しいタスク間の干渉を最小限に抑え,適応スケーリングによる非対称LoRAマージよりも性能を向上する。 本研究では,Llamaモデルを用いた多種多様な連続学習ベンチマークを用いて,設計を正当化し,広範な実験を行うための理論的解析を行い,本手法の有効性と有効性を示す。

関連論文リスト

• LoRA in LoRA: Towards Parameter-Efficient Architecture Expansion for Continual Visual Instruction Tuning [12.165720711684758]
  MLLMにおけるCVITに適した,高効率なアーキテクチャ拡張手法LiLoRAを紹介する。 LiLoRAはタスク間でLoRA行列Aを共有して冗長性を低減し、タスク固有のパラメータを最小化するために行列Bに追加の低ランク分解を適用し、コサイン規則化された安定性損失を組み込んで時間の経過とともに一貫性を維持する。 実験の結果,LiLoRAは逐次的タスク学習において一貫した性能を実現し,既存の手法に比べてパラメータ効率を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2025-08-08T10:32:38Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• LoRA-Based Continual Learning with Constraints on Critical Parameter Changes [7.634417409656999]
  LoRAベースの連続学習は、下流の連続学習タスクで事前学習されたモデルを活用するための有望な道である。 本研究では,視力変換器(ViT)における最重要パラメータ行列の凍結について,事前タスクの学習に先立って提案する。 提案手法は,いくつかのよく知られた連続学習ベンチマークにおいて,最先端(SOTA)性能を実現することを示唆している。
  論文  参考訳（メタデータ） (2025-04-18T02:08:19Z)
• C-LoRA: Continual Low-Rank Adaptation for Pre-trained Models [26.560293264523903]
  Low-Rank Adaptation (LoRA) は、自然言語処理やコンピュータビジョンなどの分野で広く応用されている効率的な微調整手法である。 連続学習のためのLoRAの新たな拡張である連続低ランク適応(C-LoRA)を提案する。 C-LoRAは学習可能なルーティングマトリックスを使用して、タスク間のパラメータ更新を動的に管理する。
  論文  参考訳（メタデータ） (2025-02-25T07:35:36Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Adaptive Rank, Reduced Forgetting: Knowledge Retention in Continual Learning Vision-Language Models with Dynamic Rank-Selective LoRA [26.079123341965687]
  低ランク学習を研究し,LoRAのランクや配置が学習や忘れにどのように影響するかを分析した。 上位のLoRAはタスク学習(塑性)を改善するが、下位のLoRAは安定性を高めるが適応を制限する。 そこで我々は,適応的に最適化されたLoRAアダプタを用いてPTMを継続的に更新する連続動的ランク選択LoRA(CoDyRA)を提案する。
  論文  参考訳（メタデータ） (2024-12-01T23:41:42Z)
• Learning Attentional Mixture of LoRAs for Language Model Continual Learning [5.405488709294211]
  Low-Rank Adaption (LoRA) を用いた細調整型大規模言語モデル (LLM) は,新しいタスクに対する継続的な学習に有効なアプローチとして広く認められている。 LLMに適した連続学習手法であるLoRA(Attentional Mixture of LoRAs, AM-LoRA)を提案する。
  論文  参考訳（メタデータ） (2024-09-29T08:34:54Z)
• MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning [105.11844150736536]
  低ランク適応は、大規模言語モデルのためのパラメータ効率の良い微調整法として人気がある。 トレーニング可能なパラメータ数を同じ数に保ちながら、高階更新を実現するために2乗行列を用いるMoRAと呼ばれる新しい手法を提案する。 本手法はメモリ集約型タスクではLoRAより優れ,他のタスクでは同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-20T15:48:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。