論文の概要: A Dynamical Theory of LoRA in Continual Learning

• arxiv url: http://arxiv.org/abs/2609.39367v1
• Date: Wed, 30 Sep 2026 09:22:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.513372
• Title: A Dynamical Theory of LoRA in Continual Learning
• Title（参考訳）: 連続学習におけるLoRAの動的理論
• Abstract要約: 本稿では,Low-Rank Adaptation (LoRA) がシーケンシャルタスク間で情報を整理し,逐次MNISTベンチマークで定性的に再現する方法を示す。 この力学図に基づいて、最強のファーストタスク表現を持つ隠れユニットを凍結し、補完部分空間への適応を制限する状態依存マスキング戦略を解析する。
• 参考スコア（独自算出の注目度）: 69.58708346402757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the widespread use of Low-Rank Adaptation (LoRA), little is known about its dynamics in continual learning and the mechanisms by which low-rank updates affect catastrophic forgetting. We provide an asymptotically exact dynamical characterization of LoRA in a solvable two-task teacher-student model. In the high-dimensional online-learning limit, we derive a closed system of ordinary differential equations for a finite set of macroscopic order parameters, yielding exact expressions for the generalization errors throughout both the initial Task 1 learning phase and the subsequent LoRA fine-tuning on Task 2. The theory quantitatively matches finite-dimensional simulations and exposes two characteristic effects of LoRA: low-rank adaptation reduces interference with features learned on the first task, but its initialization slows adaptation to the second task. Building on this mechanistic picture, we analyze a state-dependent masking strategy that freezes hidden units carrying the strongest first-task representations and restricts adaptation to the complementary subspace. This structural partitioning markedly reduces forgetting, while preserving plasticity on the new task. Our framework further clarifies the role of adapter rank: transfer improves only up to the intrinsic dimensionality of the target task and saturates beyond it, while forgetting continues to grow with rank. These results provide a dynamical and geometric account of how low-rank adaptation organizes information across sequential tasks and are qualitatively reproduced on a sequential MNIST benchmark.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) が広く使われているにもかかわらず、継続学習におけるそのダイナミクスや、低ランク更新が破滅的忘れに影響を及ぼすメカニズムについてはほとんど知られていない。 解答可能な2タスク教師・学生モデルにおけるLoRAの漸近的正確な動的特徴付けについて述べる。 高次元オンライン学習限界では、有限個のマクロ的順序パラメータに対する常微分方程式の閉系を導出し、初期タスク1学習フェーズとその後のタスク2におけるLORA微調整の両方において一般化誤差の正確な式を生成する。 この理論は有限次元シミュレーションと定量的に一致し、LoRAの2つの特徴的な効果を露呈する: 低ランク適応は第1のタスクで学んだ特徴との干渉を減らすが、初期化は第2のタスクへの適応を遅らせる。 この力学図に基づいて、最強のファーストタスク表現を持つ隠れユニットを凍結し、補完部分空間への適応を制限する状態依存マスキング戦略を解析する。 この構造分割は、新しいタスクの可塑性を保ちながら、忘れを著しく減少させる。 転送は、ターゲットタスクの内在的な次元まで改善し、それを超えて飽和する一方、忘れることもランクとともに増加し続ける。 これらの結果は、低ランク適応がシーケンシャルなタスク間でどのように情報を整理し、シーケンシャルなMNISTベンチマークで定性的に再現するかを動的かつ幾何学的に説明する。

関連論文リスト

• KeepLoRA++: Continual Learning with Layer-Scaled Residual Gradient Adaptation [67.23448686598414]
  事前学習された視覚言語モデルの継続的な学習には、3つの競合する目標のバランスが必要である。 本稿では,2次元知識保持機構を統一したKeepLoRA++を提案する。
  論文  参考訳（メタデータ） (2026-06-15T05:57:59Z)
• Energy-Structured Low-Rank Adaptation for Continual Learning [78.5390284258307]
  textbfEnergy-Concentrated and textbfEnergy-Ordered textbfLow-textbfRank textbfAdaptation (E$2$-LoRA)を提案する。 E$2$-LoRAは、知識を明示的に順序付けして上位のランクに集約することにより、その後のタスクの容量を解放する。
  論文  参考訳（メタデータ） (2026-05-26T12:55:02Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• Sculpting Subspaces: Constrained Full Fine-Tuning in LLMs for Continual Learning [19.27175827358111]
  大規模言語モデル(LLM)における継続的な学習は破滅的な忘れがちである。 適応特異値分解(SVD)を利用した連続的完全微調整手法を提案する。 我々は,Encoder-decoder (T5-Large) モデルとdecoder-only (LLaMA-2 7B) モデルの両方を用いて,標準連続学習ベンチマークを広範囲に評価した。
  論文  参考訳（メタデータ） (2025-04-09T17:59:42Z)
• Adaptive Rank, Reduced Forgetting: Knowledge Retention in Continual Learning Vision-Language Models with Dynamic Rank-Selective LoRA [26.079123341965687]
  低ランク学習を研究し,LoRAのランクや配置が学習や忘れにどのように影響するかを分析した。 上位のLoRAはタスク学習(塑性)を改善するが、下位のLoRAは安定性を高めるが適応を制限する。 そこで我々は,適応的に最適化されたLoRAアダプタを用いてPTMを継続的に更新する連続動的ランク選択LoRA(CoDyRA)を提案する。
  論文  参考訳（メタデータ） (2024-12-01T23:41:42Z)
• Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
  我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)
• Controlled Low-Rank Adaptation with Subspace Regularization for Continued Training on Large Language Models [13.56631686493347]
  大規模言語モデル(LLM)は、自然言語処理において顕著な能力を示すが、新しいタスクを学ぶ際に破滅的な忘れに直面している。 本稿では,LoRA 構造上の部分空間正規化手法である Controlled LoRA (CLoRA) を提案する。
  論文  参考訳（メタデータ） (2024-10-22T08:27:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。