論文の概要: CoDe-LoRA: Mitigating the Orthogonality Dilemma in Continual Learning of LLMs via Knowledge Consolidation and Decoupling

• arxiv url: http://arxiv.org/abs/2610.08312v1
• Date: Tue, 06 Oct 2026 13:17:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.002067
• Title: CoDe-LoRA: Mitigating the Orthogonality Dilemma in Continual Learning of LLMs via Knowledge Consolidation and Decoupling
• Title（参考訳）: CoDe-LoRA:知識統合と疎結合によるLLMの継続的な学習における直交ジレンマの緩和
• Abstract要約: LLM(Large Language Models)のための新しいリプレイフリー手法であるConsolidation and Decoupling LoRAを提案する。 CoDe-LoRAは学習プロセスをUniversal Knowledgeの統合とタスク特化知識の分離に切り離します。 4つのバックボーンと3つのCLベンチマークによる実験結果から、CoDe-LoRAが最高の平均精度を達成することが示された。
• 参考スコア（独自算出の注目度）: 10.450658029316246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) is essential for Large Language Models (LLMs) to sequentially adapt to evolving tasks. To mitigate catastrophic forgetting, recent advances implement low-rank adaptation with orthogonal projections (e.g., O-LoRA) to isolate task parameters. However, we reveal that such strict geometric constraints trigger an "Orthogonality Dilemma": rigid parameter isolation impedes the transfer and accumulation of shared representations across semantically related tasks. In this work, we propose a new replay-free method, called Consolidation and Decoupling LoRA (CoDe-LoRA), for CL of LLMs. CoDe-LoRA disentangles the learning process into Consolidating Universal Knowledge and Decoupling Task-Specific Knowledge. To achieve this, CoDe-LoRA leverages an adaptive null space projection mechanism and semantic routing to balance knowledge accumulation with task-specific adaptation. Experimental results across four backbones and three CL benchmarks show that CoDe-LoRA achieves the best average accuracy. Our code is available at https://github.com/Estrellajer/CoDe-LoRA.
• Abstract（参考訳）: 継続学習(CL)は、大規模言語モデル(LLM)が進化するタスクに順次適応するために不可欠である。 破滅的な忘れを和らげるために、近年の進歩は、タスクパラメータを分離するために直交射影(例えば、O-LoRA)による低ランク適応を実装している。 しかし、このような厳密な幾何学的制約が「オルソゴン性ジレンマ」を引き起こすことが明らかとなった: 厳密なパラメータ分離は、意味論的に関連するタスク間で共有表現の移動と蓄積を妨げる。 本研究では,LLM CL のためのリプレイフリー手法である Consolidation and Decoupling LoRA (CoDe-LoRA) を提案する。 CoDe-LoRAは学習プロセスをUniversal Knowledgeの統合とタスク特化知識の分離に切り離します。 これを実現するために、CoDe-LoRAは適応的なヌル空間投影機構とセマンティックルーティングを活用し、知識蓄積とタスク固有の適応のバランスをとる。 4つのバックボーンと3つのCLベンチマークによる実験結果から、CoDe-LoRAが最高の平均精度を達成することが示された。 私たちのコードはhttps://github.com/Estrellajer/CoDe-LoRA.comから入手可能です。

関連論文リスト

• JumpLoRA: Sparse Adapters for Continual Learning in Large Language Models [78.56572636138429]
  JumpLoRAは,JumpReLUゲーティングを用いてローランド適応(LoRA)ブロックの間隔を適応的に誘導する新しいフレームワークである。 特に,IncLoRAの性能を著しく向上させ,最先端のCLであるELLAよりも優れることを示す。
  論文  参考訳（メタデータ） (2026-04-17T15:38:37Z)
• Task-Driven Subspace Decomposition for Knowledge Sharing and Isolation in LoRA-based Continual Learning [82.30237756328596]
  Low-Rank Adaptation (LoRA) は継続学習 (CL) において注目を集めている。 いくつかのLoRAベースのCLメソッドは、更新スペースを分離することでタスク間の干渉を減らす。 LoDAは、一般的なタスク固有のLoRAサブスペースを構築するために、タスク駆動の分解を実行する。
  論文  参考訳（メタデータ） (2026-02-27T02:31:00Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• Tensorized Clustered LoRA Merging for Multi-Task Interference [29.488565631016332]
  マルチタスク設定では、ヘテロジニアスソースでトレーニングされたLoRAアダプタをマージすると、しばしばtextittaskの干渉が発生し、下流のパフォーマンスが低下する。 本稿では,タスクの干渉に対処するために,テンソル化されたクラスタ化LoRAライブラリを提案する。 TC-LoRAはPhi-3で+1.4%、Mistral-7Bで+2.3%の精度を達成し、LCM適応におけるTC-LoRAの有効性を示した。
  論文  参考訳（メタデータ） (2025-08-06T01:26:43Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。