論文の概要: S-LoRA: Scalable Low-Rank Adaptation for Class Incremental Learning
- arxiv url: http://arxiv.org/abs/2501.13198v2
- Date: Thu, 30 Jan 2025 17:55:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-31 14:32:47.217945
- Title: S-LoRA: Scalable Low-Rank Adaptation for Class Incremental Learning
- Title（参考訳）: S-LoRA: クラスインクリメンタル学習のためのスケーラブルな低ランク適応
- Authors: Yichen Wu, Hongming Piao, Long-Kai Huang, Renzhen Wang, Wanhua Li, Hanspeter Pfister, Deyu Meng, Kede Ma, Ying Wei,
- Abstract要約: 基礎モデルによる継続的な学習は、逐次的なタスクに事前訓練されたモデルのパワーを活用するための有望なアプローチとして現れてきた。
本稿では,LRAパラメータの方向と大きさの学習を段階的に分離する,CL(特にクラスインクリメンタルラーニング)のためのスケーラブル低ランク適応(S-LoRA)手法を提案する。
我々の理論的および実証的な分析により、S-LoRAは重なり合う低損失領域に収束する低損失軌道を辿る傾向にあり、CLの安定性と塑性のトレードオフは良好であることが示された。
- 参考スコア（独自算出の注目度）: 73.93639228235622
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual Learning with foundation models has recently emerged as a promising approach to harnessing the power of pre-trained models for sequential tasks. Existing prompt-based methods generally use a gating mechanism to select relevant prompts aligned with the test query for further processing. However, the success of these methods largely depends on the precision of the gating mechanism, which becomes less scalable with additional computational overhead as tasks increases. To overcome these issues, we propose a Scalable Low-Rank Adaptation (S-LoRA) method for CL (in particular class incremental learning), which incrementally decouples the learning of the direction and magnitude of LoRA parameters. S-LoRA supports efficient inference by employing the last-stage trained model for direct testing without a gating process. Our theoretical and empirical analysis demonstrates that S-LoRA tends to follow a low-loss trajectory that converges to an overlapped low-loss region, resulting in an excellent stability-plasticity trade-off in CL. Furthermore, based on our findings, we develop variants of S-LoRA with further improved scalability. Extensive experiments across multiple CL benchmarks and various foundation models consistently validate the effectiveness of S-LoRA.
- Abstract（参考訳）: 基礎モデルによる継続的学習は、最近、シーケンシャルなタスクに事前訓練されたモデルのパワーを活用するための有望なアプローチとして現れました。
既存のプロンプトベースのメソッドでは、一般的にゲーティングメカニズムを使用して、テストクエリと整合したプロンプトを選択して、さらなる処理を行う。
しかし、これらの手法の成功はゲーティング機構の精度に大きく依存する。
これらの問題を解決するために,LRAパラメータの方向と大きさの学習を段階的に分離する,CL(特にクラスインクリメンタルラーニング)のためのスケーラブル低ランク適応法(S-LoRA)を提案する。
S-LoRAは、ゲーティングプロセスなしで直接テストするために最終段階のトレーニングモデルを用いることで、効率的な推論をサポートする。
我々の理論的および実証的な分析により、S-LoRAは重なり合う低損失領域に収束する低損失軌道を辿る傾向にあり、CLの安定性と塑性のトレードオフは良好であることが示された。
さらに,我々はS-LoRAの変種を開発し,さらに拡張性を高めた。
複数のCLベンチマークと様々な基礎モデルにわたる大規模な実験は、S-LoRAの有効性を一貫して検証している。
関連論文リスト
- Reinforcement Learning for LLM Reasoning Under Memory Constraints [0.02488650627593658]
本稿では,グループ相対政策最適化のメモリ効率向上版であるS-GRPOと,よりきめ細かいクレジットカード代入のためのトークンレベルのプレフィックスマッチング戦略であるT-SPMOを紹介する。
限られたリソースにもかかわらず、Qwen2-1.5Bを微調整する場合、両方の手法はLoRAトレーニングを使用してSVAMPベンチマークの精度を46%から70%以上改善した。
両タスクのモデル性能(ベースモデルと比較)は,LoRAファインチューニングによるGRPOベースラインでは改善されなかった。
論文 参考訳（メタデータ） (2025-04-29T14:58:43Z) - BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。
本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文 参考訳（メタデータ） (2025-02-19T10:33:22Z) - Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。
現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。
そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
論文 参考訳（メタデータ） (2024-12-03T07:25:30Z) - Dual Low-Rank Adaptation for Continual Learning with Pre-Trained Models [38.97142043836567]
継続学習(CL)は、視覚変換器(ViT)が時間とともに新しいタスクを学習できるようにすることを目的としている。
破滅的な忘れ物は いまだに難題です
DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
論文 参考訳（メタデータ） (2024-11-01T14:28:39Z) - Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。
Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。
本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文 参考訳（メタデータ） (2024-10-25T17:07:13Z) - Controlled Low-Rank Adaptation with Subspace Regularization for Continued Training on Large Language Models [13.56631686493347]
大規模言語モデル(LLM)は、自然言語処理において顕著な能力を示すが、新しいタスクを学ぶ際に破滅的な忘れに直面している。
本稿では,LoRA 構造上の部分空間正規化手法である Controlled LoRA (CLoRA) を提案する。
論文 参考訳（メタデータ） (2024-10-22T08:27:23Z) - Is Parameter Collision Hindering Continual Learning in LLMs? [50.57658782050275]
大規模言語モデル(LLM)は、複数のタスクを逐次学習する際に破滅的な忘れに悩まされることが多い。
CL問題に対処する上で,非衝突パラメータの構築はより重要な相互依存因子であることを示す。
低衝突速度を利用してLCMのCLを向上する単純なアプローチである非衝突低ランク適応(N-LoRA)を提案する。
論文 参考訳（メタデータ） (2024-10-14T05:54:11Z) - Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。
LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。
本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T18:51:53Z) - LoRA Dropout as a Sparsity Regularizer for Overfitting Control [18.992276878667997]
そこで本研究では,LoRA方式のドロップアウト機構を提案する。
適切な空間性は、経験的リスクと一般化リスクのギャップを狭めるのに役立ちます。
論文 参考訳（メタデータ） (2024-04-15T09:32:12Z) - PRoLoRA: Partial Rotation Empowers More Parameter-Efficient LoRA [45.38491644250814]
部分回転型低ランク適応(PRoLoRA)は層内共有機構である。
PRoLoRAはその利点を保ち、ピアパラメータ共有手法の欠点を効果的に回避する。
実験によりPRoLoRAのパラメータ効率が著しく向上した。
論文 参考訳（メタデータ） (2024-02-24T13:39:05Z) - PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。
8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
論文 参考訳（メタデータ） (2024-01-20T20:25:17Z) - Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。
提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。
実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-20T11:56:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。