論文の概要: Task-Driven Subspace Decomposition for Knowledge Sharing and Isolation in LoRA-based Continual Learning

• arxiv url: http://arxiv.org/abs/2603.00191v1
• Date: Fri, 27 Feb 2026 02:31:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.096091
• Title: Task-Driven Subspace Decomposition for Knowledge Sharing and Isolation in LoRA-based Continual Learning
• Title（参考訳）: LoRAに基づく連続学習における知識共有と分離のためのタスク駆動サブ空間分割
• Authors: Lingfeng He, De Cheng, Huaijie Wang, Xi Yang, Nannan Wang, Xinbo Gao,
• Abstract要約: Low-Rank Adaptation (LoRA) は継続学習 (CL) において注目を集めている。 いくつかのLoRAベースのCLメソッドは、更新スペースを分離することでタスク間の干渉を減らす。 LoDAは、一般的なタスク固有のLoRAサブスペースを構築するために、タスク駆動の分解を実行する。
• 参考スコア（独自算出の注目度）: 82.30237756328596
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual Learning (CL) requires models to sequentially adapt to new tasks without forgetting old knowledge. Recently, Low-Rank Adaptation (LoRA), a representative Parameter-Efficient Fine-Tuning (PEFT) method, has gained increasing attention in CL. Several LoRA-based CL methods reduce interference across tasks by separating their update spaces, typically building the new space from the estimated null space of past tasks. However, they (i) overlook task-shared directions, which suppresses knowledge transfer, and (ii) fail to capture truly effective task-specific directions since these ``null bases" of old tasks can remain nearly inactive for new task under correlated tasks. To address this, we study LoRA learning capability from a projection energy perspective, and propose Low-rank Decomposition and Adaptation (LoDA). It performs a task-driven decomposition to build general and truly task-specific LoRA subspaces by solving two energy-based objectives, decoupling directions for knowledge sharing and isolation. LoDA fixes LoRA down-projections on two subspaces and learns robust up-projections via a Gradient-Aligned Optimization (GAO) approach. After each task, before integrating the LoRA updates into the backbone, LoDA derives a closed-form recalibration for the general update, approximating a feature-level joint optimum along this task-shared direction. Experiments indicate that LoDA outperforms existing CL methods.
• Abstract（参考訳）: 継続学習(CL)は、古い知識を忘れずに、新しいタスクに逐次適応するモデルを必要とする。 近年,パラメータ効率のよいPEFT法であるLoRA (Lo-Rank Adaptation) がCLにおいて注目を集めている。 いくつかのLoRAベースのCLメソッドは、更新スペースを分離することでタスク間の干渉を減らす。 しかし、彼らは 一 知識移転を抑制するタスク共有方向を見落とし、 (ii) 従来のタスクの `null bases" は、関連タスクの下では、新しいタスクに対してほとんどアクティブに保たれるので、真に効果的なタスク固有の方向をキャプチャできない。 そこで我々は,投射エネルギーの観点からLoRA学習能力について検討し,LoDA(Lo-rank Decomposition and Adaptation)を提案する。 2つのエネルギーベースの目的を解決し、知識共有と隔離のための方向を分離することで、汎用的で真にタスク固有のLoRA部分空間を構築するために、タスク駆動分解を実行する。 LoDAは2つのサブスペース上のLoRAのダウンプロジェクションを修正し、Gradient-Aligned Optimization (GAO)アプローチを通じて堅牢なアッププロジェクションを学ぶ。 各タスクの後、LoRAアップデートをバックボーンに統合する前に、LoDAは一般的な更新のためのクローズドフォームのリカレーションを導出し、タスク共有方向に沿って特徴レベルの関節最適化を近似する。 実験によると、LoDAは既存のCLメソッドよりも優れています。

関連論文リスト

• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• KeepLoRA: Continual Learning with Residual Gradient Adaptation [70.16296045857659]
  事前学習された視覚言語モデルの継続的な学習には、3つの競合する目標のバランスが必要である。 本稿では、これらの目的を効果的にバランスさせるために、KeepLoRAと呼ばれるシンプルで効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2026-01-27T14:38:57Z)
• Disentangling Task Conflicts in Multi-Task LoRA via Orthogonal Gradient Projection [4.664605519215656]
  Low-Rank Adaptation (LoRA)と組み合わせたマルチタスク学習(MTL)が,大規模言語モデル(LLM)のパラメータ効率向上のための有望な方向として登場した。 複数のタスクにまたがる単一のアダプタを共有することで、ストレージオーバーヘッドを大幅に削減できる。 このアプローチは、個別タスクからの差分更新がシングルタスクの微調整と比較して個々のタスクのパフォーマンスを低下させるという、負の転送に悩まされる。 そこで我々は,LoRAの2部構造に適した勾配投影法であるOrtho-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-01-14T18:36:22Z)
• Merge before Forget: A Single LoRA Continual Learning via Continual Merging [13.950131092976248]
  現在のLow-Rank Adaptation (LoRA) 連続学習技術は、学習済みのLoRAを保持・凍結したり、忘れることを避けるためにデータ表現を生成することが多い。 本稿では,LoRAの更新を1つの統一LoRAに逐次マージする連続学習手法を提案する。
  論文  参考訳（メタデータ） (2025-12-28T17:37:57Z)
• ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation [96.86211867758652]
  Low-Rank Adaptation (LoRA) は、基礎モデルの下流の微調整に広く採用されている。 タスク不均一性を考慮したマルチタスク低ランク適応フレームワークであるTanoRAを提案する。
  論文  参考訳（メタデータ） (2025-05-24T11:01:45Z)
• Gated Integration of Low-Rank Adaptation for Continual Learning of Large Language Models [26.580402513634425]
  大規模言語モデル(LLM)には継続学習(CL)が不可欠である 低ランク適応のゲート統合(GainLoRA)と呼ばれる新しい手法を提案する。 GainLoRAは新しいタスクごとに新しいLoRAブランチを拡張し、新しい古いLoRAブランチを統合するためのゲーティングモジュールを導入した。
  論文  参考訳（メタデータ） (2025-05-21T12:08:15Z)
• In-Context Meta LoRA Generation [61.690065588534296]
  Low-rank Adaptation (LoRA) はタスク固有の微調整機能を示す。 In-Context Meta LoRA (ICM-LoRA) は,大規模言語モデルのタスク固有のカスタマイズを効率的に行う新しい手法である。 ICM-LoRAは、現在のパラメータ再構成法よりも正確なLoRAパラメータ再構成を可能にする。
  論文  参考訳（メタデータ） (2025-01-29T13:12:01Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
  MTL能力を大幅に向上させながら、低ランク適応の利点を保ちつつ、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別し、共有知識をキャプチャするタスク適応パラメータを追加することで、LoRAを強化する。 このアプローチにより、事前訓練されたモデルは、限られた数のトレーニング可能なパラメータで、異なるターゲットドメインに共同で適応することができる。
  論文  参考訳（メタデータ） (2024-10-12T08:32:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。