論文の概要: ChainLoRA: Geometry-Preserving Task Vector Merging for Continual Learning in LLMs

• arxiv url: http://arxiv.org/abs/2610.00431v1
• Date: Wed, 30 Sep 2026 16:43:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.655619
• Title: ChainLoRA: Geometry-Preserving Task Vector Merging for Continual Learning in LLMs
• Title（参考訳）: ChainLoRA: LLMにおける連続学習のための幾何保存タスクベクトルマージ
• Abstract要約: ChainLoRAは、連鎖更新タスクベクトル幾何学に基づいて構築されたリプレイフリー連続マージフレームワークである。 実験の結果,ChainLoRAは評価されたリプレイフリー手法の中で最先端の性能を発揮することがわかった。
• 参考スコア（独自算出の注目度）: 47.47506424027992
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual parameter-efficient fine-tuning for large language models (LLMs) must balance retention of previously acquired knowledge, adaptation to new tasks, and strict parameter budgets. We present \textbf{ChainLoRA}, a replay-free continual merging framework built on chain-updated task-vector geometry. From a parameter-merging perspective, we formulate a geometric view of forgetting through a measurable interaction between task updates, separating directional overlap from coefficient coupling. Building on this view, ChainLoRA combines chain-updated training with post-stream adaptive SVD merging. During training, initialization and a one-sided orthogonality proxy use only the last carrier, keeping their historical-state footprint and regularization overhead constant as the task stream grows. At merging time, Adaptive SVD extracts a shared carrier and aligns it to the latest task through Procrustes adaptation. Our theoretical analysis shows that Procrustes adaptation facilitates geometric approximate separation of shared and task-specific components. The one-sided proxy further bounds inter-task interference. An effective-rank penalty additionally promotes efficient utilization of the task subspace during continual learning. Experiments show that ChainLoRA achieves state-of-the-art performance among the evaluated replay-free methods on the Large and SuperNI benchmarks, while remaining competitive on Standard CL and attaining almost the closest average scores to the evaluated replay-based method across all three benchmarks.
• Abstract（参考訳）: 大規模言語モデル(LLM)の連続的パラメータ効率の微調整は、以前取得した知識の保持、新しいタスクへの適応、厳密なパラメータ予算のバランスをとる必要がある。 本稿では,連鎖更新タスクベクトル幾何学に基づくリプレイフリー連続マージフレームワークである‘textbf{ChainLoRA} を提案する。 パラメータ統合の観点から,タスク更新間の測定可能な相互作用を通じて,係数結合から方向重なりを分離する幾何学的視点を定式化する。 この視点に基づいて、ChainLoRAはチェーン更新トレーニングとポストストリーム適応SVDマージを組み合わせる。 トレーニング中、初期化と一方的な直交プロキシは最後のキャリアのみを使用し、タスクストリームが大きくなるにつれて、その履歴状態のフットプリントと正規化オーバーヘッドを一定に保つ。 マージ時に、Adaptive SVDは共有キャリアを抽出し、Procrustes適応を通じて最新のタスクに整列する。 理論的解析により,プロクリスト適応は,共有成分とタスク固有成分の幾何的分離を促進することが示された。 片側プロキシは、さらにタスク間干渉をバインドする。 有効ランクペナルティは、継続学習中のタスクサブスペースの効率的な利用を促進する。 実験により、ChainLoRAは、評価された3つのベンチマークにおいて、標準CLと競合しながら、評価された3つのベンチマークで評価されたリプレイベースメソッドに最も近い平均スコアを得る一方で、評価されたリプレイフリーメソッドのうち、最先端のパフォーマンスを達成することが示された。

関連論文リスト

• When the Merge Coefficient Stops Mattering: Proximity Regularized Merging for Continual LoRA Adaptation [11.963603083282264]
  逐次LoRAマージに対する最小限の修正であるPRM(Proximity Regularized Merging)を提案する。 PRMはロバストなタスクベクトル正規化器として機能することを示す。 また, 逐次LoRAマージの有効性は, タスクベクトルの書き込み量だけでなく, タスクベクトル自体がマージ可能かどうかにも依存することを示した。
  論文  参考訳（メタデータ） (2026-09-26T07:50:00Z)
• PACT: Preserving Anchored Cores in Task-vectors for Model Merging [68.52455853496585]
  モデルマージは、複数のタスク固有の細調整されたモデルを単一のマルチタスクモデルに結合することを目的としている。 既存のモデルマージアプローチのほとんどは、Task Arithmeticパラダイムに従っています。 本研究では,タスクベクトル内の固定されたタスク固有コア(LBW次元)を,事前学習した重みのサブ空間と補間を整合させることにより保存するPACTを提案する。
  論文  参考訳（メタデータ） (2026-06-17T02:48:35Z)
• CoDiEmb: A Collaborative yet Distinct Framework for Unified Representation Learning in Information Retrieval and Semantic Textual Similarity [20.349897901019574]
  統合されたテキスト埋め込みをトレーニングするための統合フレームワークであるCoDiEmbを紹介する。 CoDiEmbは、効果的な共同最適化のための3つの重要なイノベーションを統合している。 我々の結果と分析は、このフレームワークがクロスタスクトレードオフを緩和していることを示している。
  論文  参考訳（メタデータ） (2025-08-15T12:46:35Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。