論文の概要: Replay-Free Continual Low-Rank Adaptation with Dynamic Memory

• arxiv url: http://arxiv.org/abs/2411.00623v3
• Date: Wed, 24 Sep 2025 03:51:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 16:23:42.083253
• Title: Replay-Free Continual Low-Rank Adaptation with Dynamic Memory
• Title（参考訳）: 動的メモリを用いたリプレイフリー連続低ランク適応
• Authors: Huancheng Chen, Jingtao Li, Weiming Zhuang, Chen Chen, Lingjuan Lyu,
• Abstract要約: 我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
• 参考スコア（独自算出の注目度）: 62.85596937435928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We revisit continual learning~(CL), which enables pre-trained vision transformers (ViTs) to sequentially fine-tune on new downstream tasks over time. However, as the scale of these models increases, catastrophic forgetting remains a more serious challenge. Recent studies highlight a crossover between CL techniques and parameter-efficient fine-tuning (PEFT), which focuses on fine-tuning only a small set of trainable parameters to adapt to downstream tasks, such as low-rank adaptation (LoRA). While LoRA achieves faster convergence and requires fewer trainable parameters, it has seldom been explored in the context of continual learning. To address this gap, we propose a novel PEFT-CL method called Dual Low-Rank Adaptation (DualLoRA), which introduces both an orthogonal LoRA adapter and a residual LoRA adapter parallel to pre-trained weights in each layer. These components are orchestrated by a dynamic memory mechanism to strike a balance between stability and plasticity. Additionally, we propose a scheme to predict task identity with confidence and calibrate the model's outputs accordingly. On ViT-based models, we demonstrate that DualLoRA offers significant advantages in accuracy, inference speed, and computation efficiency in training over existing CL methods across multiple benchmarks.
• Abstract（参考訳）: 我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習~(CL)を再考する。 しかし、これらのモデルの規模が大きくなるにつれて、破滅的な忘れがより深刻な課題となっている。 近年の研究では、低ランク適応(LoRA)のような下流タスクに適応するために、小さなトレーニング可能なパラメータセットのみを微調整することに焦点を当てた、CL技術とパラメータ効率のよい微調整(PEFT)の交叉を強調している。 LoRAはより高速な収束を実現し、トレーニング可能なパラメータを少なくするが、連続学習の文脈ではほとんど研究されていない。 このギャップに対処するために,直交LoRAアダプタと各層における事前学習重みに平行な残留LoRAアダプタの両方を導入する,Dual Low-Rank Adaptation (DualLoRA) と呼ばれる新しいPEFT-CL手法を提案する。 これらのコンポーネントは動的メモリ機構によって編成され、安定性と可塑性のバランスをとる。 さらに,信頼度でタスクの同一性を予測し,それに応じてモデルの出力を校正する手法を提案する。 ViTベースのモデルでは、DualLoRAは、複数のベンチマークで既存のCLメソッドのトレーニングにおいて、精度、推論速度、計算効率において大きな利点があることを示した。

関連論文リスト

• CL-LoRA: Continual Low-Rank Adaptation for Rehearsal-Free Class-Incremental Learning [8.81873424028249]
  CIL (Class-Incremental Learning) は、学習した授業の知識を維持しつつ、新しいクラスを逐次学習することを目的としている。 我々は,textbftask-sharedアダプタを併用して,クロスタスク知識とtextbftask-specific Adapter を学習し,各タスクのユニークな特徴を捉えた新しいデュアルアダプタアーキテクチャを提案する。 CL-LoRAは、トレーニングと推論の計算を減らし、複数のベンチマークで常に有望な性能を達成することを実証する。
  論文  参考訳（メタデータ） (2025-05-30T17:19:52Z)
• Parameter Efficient Continual Learning with Dynamic Low-Rank Adaptation [19.48677836920734]
  連続学習(CL)におけるディープニューラルネットワークにとって、破滅的な忘れは依然として重要な課題である。 CLトレーニング中にLoRAコンポーネントの動的ランクアロケーションを必要とするリハーサルフリーなCLフレームワークであるPEARLを紹介する。
  論文  参考訳（メタデータ） (2025-05-17T13:19:01Z)
• FM-LoRA: Factorized Low-Rank Meta-Prompting for Continual Learning [19.068489119024388]
  連続学習は、シーケンシャルなタスクに事前訓練されたモデルを活用するための有望なアプローチとして登場した。 既存のCLメソッドの多くは、ローランド適応(LoRA)アダプタやプロンプトなどの学習構造を漸進的に格納する。 動的階数セレクタ(DRS)と動的メタプロンプティング(DMP)の両方を統合した,新規で効率的な低ランク適応手法FM-LoRAを提案する。
  論文  参考訳（メタデータ） (2025-04-09T19:36:18Z)
• C-LoRA: Continual Low-Rank Adaptation for Pre-trained Models [26.560293264523903]
  Low-Rank Adaptation (LoRA) は、自然言語処理やコンピュータビジョンなどの分野で広く応用されている効率的な微調整手法である。 連続学習のためのLoRAの新たな拡張である連続低ランク適応(C-LoRA)を提案する。 C-LoRAは学習可能なルーティングマトリックスを使用して、タスク間のパラメータ更新を動的に管理する。
  論文  参考訳（メタデータ） (2025-02-25T07:35:36Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
  大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。 現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。 そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
  論文  参考訳（メタデータ） (2024-12-03T07:25:30Z)
• LoRA-Mini : Adaptation Matrices Decomposition and Selective Training [2.0670689746336]
  Low-Rank Adaptation (LoRA)は、トレーニング可能なパラメータの数を減らし、パラメータ効率の良い微調整を可能にする、有望なソリューションとして登場した。 低ランク行列を4つに分割することでパラメータ効率を向上させるLoRAを最適化したLoRA-Miniを提案する。 このアプローチは、標準のLoRAに匹敵するパフォーマンスレベルを維持しながら、トレーニング可能なパラメータの数に対して、標準のLoRAと比較して最大20倍の削減を実現している。
  論文  参考訳（メタデータ） (2024-11-24T12:21:14Z)
• Controlled Low-Rank Adaptation with Subspace Regularization for Continued Training on Large Language Models [13.56631686493347]
  大規模言語モデル(LLM)は、自然言語処理において顕著な能力を示すが、新しいタスクを学ぶ際に破滅的な忘れに直面している。 本稿では,LoRA 構造上の部分空間正規化手法である Controlled LoRA (CLoRA) を提案する。
  論文  参考訳（メタデータ） (2024-10-22T08:27:23Z)
• Is Parameter Collision Hindering Continual Learning in LLMs? [50.57658782050275]
  大規模言語モデル(LLM)は、複数のタスクを逐次学習する際に破滅的な忘れに悩まされることが多い。 CL問題に対処する上で,非衝突パラメータの構築はより重要な相互依存因子であることを示す。 低衝突速度を利用してLCMのCLを向上する単純なアプローチである非衝突低ランク適応(N-LoRA)を提案する。
  論文  参考訳（メタデータ） (2024-10-14T05:54:11Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、下流タスクのための大規模な事前学習モデルに効果的に適応する、PEFT (Efficient Fine Tuning) 手法として人気がある。 モデル更新に低階テンソルパラメトリゼーションを用いる新しい手法を提案する。 提案手法は,大規模言語モデルの微調整に有効であり,比較性能を維持しつつ,パラメータ数の大幅な削減を実現している。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Tensor Train Low-rank Approximation (TT-LoRA): Democratizing AI with Accelerated LLMs [1.5503410315996757]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクで顕著な機能を示している。 しかし、LLMの複雑さはますます増大し、膨大な計算資源を必要としている。 本稿では,新しいパラメータ効率細調整(PEFT)手法であるTrain Low-Rank Approximation (TT-LoRA)を紹介する。
  論文  参考訳（メタデータ） (2024-08-02T04:45:58Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
  低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。 我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。 実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
  論文  参考訳（メタデータ） (2024-02-27T07:14:12Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。