論文の概要: Making LoRA Identifiable: Orthogonal Alignment for Continual Learning

• arxiv url: http://arxiv.org/abs/2610.16664v1
• Date: Mon, 12 Oct 2026 12:14:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:58:41.623896
• Title: Making LoRA Identifiable: Orthogonal Alignment for Continual Learning
• Title（参考訳）: LoRAを識別する: 継続的学習のための直交的アライメント
• Abstract要約: 連続的なLoRA学習のための2段階フレームワークであるStiefel Optimization and Aligned Rotation (SOAR)を提案する。 まず、A 行列はスティーフェル多様体上に成り立つことを制約し、従って回転行列の空間に対する座標の不整合を減少させる。 第2に、B行列の直交プロクリストアライメント手順を導入し、最適回転を推定し、ランク単位の保持マージ戦略を併用する。
• 参考スコア（独自算出の注目度）: 15.151971531189204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is growing interest in applying Parameter-Efficient Fine-Tuning (PEFT) to Continual Learning, as it enables faster training, mitigates catastrophic forgetting, and facilitates better adaptation to new tasks. Prior approaches have explored a range of strategies, including extending new LoRA branches for each incoming task, training under orthogonal loss objectives across all task-specific LoRA modules, and employing gating mechanisms to integrate new and existing LoRA modules. However, these methods incur memory costs that grow linearly with the number of tasks, limiting their scalability. More recent approaches investigate training a single LoRA by leveraging asymmetries in its parameterization; however, they often suffer from insufficient representational alignment across the LoRA parameter space. To address these limitations, we propose Stiefel Optimization and Aligned Rotation (SOAR), a two-stage framework for continual LoRA learning. First, we constrain the A matrix to lie on the Stiefel manifold, thereby reducing coordinate misalignment to the space of orthogonal rotation matrices. Second, we introduce an Orthogonal Procrustes alignment procedure for the B matrix to estimate the optimal rotation, coupled with a per-rank retention merging strategy that quantifies directional agreement between representations of new and previously learned tasks. We conduct extensive experiments across multiple models and benchmarks, demonstrating that SOAR achieves strong continual learning performance without incurring additional memory overhead.
• Abstract（参考訳）: パラメータ効率の良いファインチューニング(PEFT)を継続的な学習に適用することへの関心が高まっている。 以前のアプローチでは、各タスクに対する新しいLoRAブランチの拡張、タスク固有のLoRAモジュールの直交損失目標に基づくトレーニング、新しいLoRAモジュールと既存のLoRAモジュールの統合のためのゲーティングメカニズムの採用など、さまざまな戦略が検討されていた。 しかし、これらの手法はタスク数に応じて線形に増大するメモリコストを発生させるため、スケーラビリティが制限される。 近年のアプローチでは、パラメータ化における非対称性を活用することにより、単一LoRAのトレーニングが検討されているが、LoRAパラメータ空間を横断する表現的アライメントが不十分な場合が多い。 これらの制約に対処するため、連続的なLoRA学習のための2段階フレームワークであるStiefel Optimization and Aligned Rotation (SOAR)を提案する。 まず、A 行列をスティーフェル多様体上に配置することを制約し、直交回転行列の空間に対する座標の不整合を減少させる。 第2に、B行列の直交プロクリストアライメント手順を導入し、最適回転を推定し、新しいタスクと以前に学んだタスクの表現間の方向性の一致を定量化するランク単位の保持マージ戦略と組み合わせる。 私たちは、複数のモデルとベンチマークにわたる広範な実験を行い、SOARが追加のメモリオーバーヘッドを発生させることなく、強力な継続的な学習性能を達成することを実証しています。

関連論文リスト

• Task-Driven Subspace Decomposition for Knowledge Sharing and Isolation in LoRA-based Continual Learning [82.30237756328596]
  Low-Rank Adaptation (LoRA) は継続学習 (CL) において注目を集めている。 いくつかのLoRAベースのCLメソッドは、更新スペースを分離することでタスク間の干渉を減らす。 LoDAは、一般的なタスク固有のLoRAサブスペースを構築するために、タスク駆動の分解を実行する。
  論文  参考訳（メタデータ） (2026-02-27T02:31:00Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• Merge before Forget: A Single LoRA Continual Learning via Continual Merging [13.950131092976248]
  現在のLow-Rank Adaptation (LoRA) 連続学習技術は、学習済みのLoRAを保持・凍結したり、忘れることを避けるためにデータ表現を生成することが多い。 本稿では,LoRAの更新を1つの統一LoRAに逐次マージする連続学習手法を提案する。
  論文  参考訳（メタデータ） (2025-12-28T17:37:57Z)
• LoRA in LoRA: Towards Parameter-Efficient Architecture Expansion for Continual Visual Instruction Tuning [12.165720711684758]
  MLLMにおけるCVITに適した,高効率なアーキテクチャ拡張手法LiLoRAを紹介する。 LiLoRAはタスク間でLoRA行列Aを共有して冗長性を低減し、タスク固有のパラメータを最小化するために行列Bに追加の低ランク分解を適用し、コサイン規則化された安定性損失を組み込んで時間の経過とともに一貫性を維持する。 実験の結果,LiLoRAは逐次的タスク学習において一貫した性能を実現し,既存の手法に比べてパラメータ効率を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2025-08-08T10:32:38Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• C-LoRA: Continual Low-Rank Adaptation for Pre-trained Models [26.560293264523903]
  Low-Rank Adaptation (LoRA) は、自然言語処理やコンピュータビジョンなどの分野で広く応用されている効率的な微調整手法である。 連続学習のためのLoRAの新たな拡張である連続低ランク適応(C-LoRA)を提案する。 C-LoRAは学習可能なルーティングマトリックスを使用して、タスク間のパラメータ更新を動的に管理する。
  論文  参考訳（メタデータ） (2025-02-25T07:35:36Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
  我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。