論文の概要: SR$^2$-LoRA: Self-Rectifying Inter-layer Relations in Low-Rank Adaptation for Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2605.07420v1
• Date: Fri, 08 May 2026 08:14:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.916883
• Title: SR$^2$-LoRA: Self-Rectifying Inter-layer Relations in Low-Rank Adaptation for Class-Incremental Learning
• Title（参考訳）: SR$^2$-LoRA:クラス増分学習のための低ランク適応における自己回帰層間関係
• Authors: Fengqiang Wan, Yipeng Lin, Kan Lv, Yang Yang,
• Abstract要約: 本稿では, 層間関係ドリフトの解析を通して, 破滅的な忘れ方について考察する。 我々は、アンダーラインSelf-underlineRectifying inter-layer underline Relation Low-Rank Adaptation (SR$2$-LoRA)を提案する。 標準CILベンチマークの実験では、SR$2$-LoRAは破滅的な忘れを効果的に緩和することを示した。
• 参考スコア（独自算出の注目度）: 3.9562791462574602
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained models with parameter-efficient fine-tuning (PEFT) have demonstrated promising potential for class-incremental learning (CIL), yet catastrophic forgetting still persists when adapting models to new tasks. In this paper, we present a novel perspective on catastrophic forgetting through the analysis of inter-layer relation drift, i.e., the progressive disruption of relationships among layer-wise representations during the learning of new tasks. We theoretically show that the increase of such drift reduces the classification margins of previously learned tasks, thereby degrading overall model performance. To address this issue, we propose \underline{S}elf-\underline{R}ectifying inter-layer \underline{R}elation Low-Rank Adaptation~(SR$^2$-LoRA), a simple yet effective method that mitigates catastrophic forgetting by constraining inter-layer relation drift. Specifically, SR$^2$-LoRA constructs the relation matrices induced by the previous and current models on current-task samples, and aligns the corresponding singular values. We further theoretically show that this alignment exhibits greater robustness to estimation perturbations than direct entry-wise alignment. Extensive experiments on standard CIL benchmarks demonstrate that SR$^2$-LoRA effectively mitigates catastrophic forgetting, with its advantages becoming more pronounced as the number of tasks increases. Code is available in the \href{https://github.com/FqWan24/SR-2-LoRA}{repository}.
• Abstract（参考訳）: パラメータ効率ファインチューニング(PEFT)を用いた事前学習モデルでは, CIL(class-incremental learning)の有望な可能性を示している。 本稿では, 階層間関係のドリフト解析, すなわち, 新たなタスクの学習において, 階層間関係の進行的乱れを解析し, 破滅的忘れを新たな視点として提示する。 理論的には、このようなドリフトの増加は、以前に学習したタスクの分類マージンを減らし、モデル全体の性能を低下させる。 この問題に対処するために, 層間関係のドリフトを制限して破滅的忘れを緩和する, 単純かつ効果的な方法である, 層間関係ドリフトの緩和法である, 層間関係ドリフトの緩和法である, ローランク適応法~(SR$^2$-LoRA)を提案する。 具体的には、SR$^2$-LoRAは、前のモデルと現在のモデルによって誘導される関係行列を現在のタスクサンプル上に構成し、対応する特異値を整列する。 さらに、このアライメントは直接エントリーワイドアライメントよりも、推定摂動に対するロバスト性が高いことを示す。 標準CILベンチマークでの大規模な実験により、SR$^2$-LoRAは破滅的な忘れを効果的に軽減し、タスク数が増加するにつれてその利点がより顕著になることが示された。 コードは \href{https://github.com/FqWan24/SR-2-LoRA}{repository} で公開されている。

関連論文リスト

• Convergent Stochastic Training of Attention and Understanding LoRA [40.81245220414135]
  トランスフォーマーは機械学習に革命をもたらし、モデルに注目層を配置することは、無数のアプリケーションでますます標準になっている。 大規模モデルではローランク適応(LoRA)を実装することが一般的であり、パラメータ化の因子化を訓練することで驚くほど精度の高いトレードオフを実現する。 軽度正規化の場合、注目層上の経験的回帰損失と浅いニューラルネットワーク上のLoRAは、対応するギブズ測度に対するポアンカレの不等式を誘導する。
  論文  参考訳（メタデータ） (2026-05-08T16:22:08Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization [2.594346658179846]
  Low-Rank Adaptation (LoRA)は、固定された低ランク部分空間への更新を制約する。 本稿では,低ランク適応(SRLoRA)における部分空間再構成について,重要性に基づく融合と再初期化を用いて紹介する。 SRLoRAは標準のLoRAよりも高速な収束と精度の向上を実現している。
  論文  参考訳（メタデータ） (2025-05-18T14:12:40Z)
• Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
  我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。