論文の概要: Shared LoRA Subspaces for almost Strict Continual Learning

• arxiv url: http://arxiv.org/abs/2602.06043v1
• Date: Thu, 05 Feb 2026 18:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:09.161575
• Title: Shared LoRA Subspaces for almost Strict Continual Learning
• Title（参考訳）: ほぼ厳密な連続学習のための共有LoRA部分空間
• Authors: Prakhar Kaushik, Ankit Vaidya, Shravan Chaudhari, Rama Chellappa, Alan Yuille,
• Abstract要約: 大規模な事前訓練されたモデルを新しいタスクに効果的かつ継続的に適応させることは、現実世界のデプロイメントに不可欠である。 パラメータ効率の良い連続ファインタニングのための新しい手法であるShareを提案し、単一の共有低ランク部分空間を学習し動的に更新する。 単一のShareモデルは、数百のタスク固有のLoRAアダプタを置き換えることができ、スケーラブルで非同期な継続的学習をサポートする。
• 参考スコア（独自算出の注目度）: 32.4267950435704
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adapting large pretrained models to new tasks efficiently and continually is crucial for real-world deployment but remains challenging due to catastrophic forgetting and the high cost of retraining. While parameter-efficient tuning methods like low rank adaptation (LoRA) reduce computational demands, they lack mechanisms for strict continual learning and knowledge integration, without relying on data replay, or multiple adapters. We propose Share, a novel approach to parameter efficient continual finetuning that learns and dynamically updates a single, shared low-rank subspace, enabling seamless adaptation across multiple tasks and modalities. Share constructs a foundational subspace that extracts core knowledge from past tasks and incrementally integrates new information by identifying essential subspace directions. Knowledge from each new task is incorporated into this evolving subspace, facilitating forward knowledge transfer, while minimizing catastrophic interference. This approach achieves up to 100x parameter reduction and 281x memory savings over traditional LoRA methods, maintaining performance comparable to jointly trained models. A single Share model can replace hundreds of task-specific LoRA adapters, supporting scalable, asynchronous continual learning. Experiments across image classification, natural language understanding, 3D pose estimation, and text-to-image generation validate its effectiveness, making Share a practical and scalable solution for lifelong learning in large-scale AI systems.
• Abstract（参考訳）: 大規模な事前訓練されたモデルを新しいタスクに効率的に、かつ継続的に適応させることは、現実のデプロイメントには不可欠だが、破滅的な忘れ物と、高い再トレーニングコストのために、依然として困難である。 低ランク適応(LoRA)のようなパラメータ効率のよいチューニング手法は、計算要求を減らすが、データ再生や複数のアダプタに頼ることなく、厳密な連続学習と知識統合のためのメカニズムを欠いている。 パラメータ効率向上のための新しい手法であるShareを提案する。これは単一の共有低ランク部分空間を学習し、動的に更新し、複数のタスクやモダリティにシームレスな適応を可能にする。 Shareは、過去のタスクからコア知識を抽出する基本部分空間を構築し、必須部分空間の方向を特定することによって、新たな情報を段階的に統合する。 それぞれの新しいタスクからの知識はこの進化するサブスペースに組み込まれ、破滅的な干渉を最小限に抑えながら、前方からの知識伝達を促進する。 このアプローチは、従来のLoRAメソッドよりも最大100倍のパラメータ削減と281倍のメモリ節約を実現し、共同でトレーニングされたモデルに匹敵するパフォーマンスを維持する。 単一のShareモデルは、数百のタスク固有のLoRAアダプタを置き換えることができ、スケーラブルで非同期な継続的学習をサポートする。 画像分類、自然言語理解、3Dポーズ推定、テキスト・ツー・イメージ生成による実験は、その有効性を検証する。

関連論文リスト

• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• Merge before Forget: A Single LoRA Continual Learning via Continual Merging [13.950131092976248]
  現在のLow-Rank Adaptation (LoRA) 連続学習技術は、学習済みのLoRAを保持・凍結したり、忘れることを避けるためにデータ表現を生成することが多い。 本稿では,LoRAの更新を1つの統一LoRAに逐次マージする連続学習手法を提案する。
  論文  参考訳（メタデータ） (2025-12-28T17:37:57Z)
• COLA: Continual Learning via Autoencoder Retrieval of Adapters [0.0]
  大規模言語モデル(LLM)は、しばしば繰り返し再学習や継続的な学習には実用的ではない。 COLAはオートエンコーダを使用して、様々なタスクに関連する重みの低次元埋め込みをキャプチャーする。
  論文  参考訳（メタデータ） (2025-10-22T12:04:21Z)
• Analytic Subspace Routing: How Recursive Least Squares Works in Continual Learning of Large Language Model [6.42114585934114]
  大規模言語モデル(LLM)には、多様な言語関連タスクを処理できる機能がある。 大規模言語モデル(LLM)における継続的な学習は、LLMを新しいタスクに継続的に適応させることを目的としている。 本稿では,これらの課題に対処するため,ASR(Analytic Subspace Routing)を提案する。
  論文  参考訳（メタデータ） (2025-03-17T13:40:46Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。