論文の概要: C-LoRA: Continual Low-Rank Adaptation for Pre-trained Models

• arxiv url: http://arxiv.org/abs/2502.17920v1
• Date: Tue, 25 Feb 2025 07:35:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:21:48.788823
• Title: C-LoRA: Continual Low-Rank Adaptation for Pre-trained Models
• Title（参考訳）: C-LoRA:事前訓練モデルに対する連続低ランク適応
• Authors: Xin Zhang, Liang Bai, Xian Yang, Jiye Liang,
• Abstract要約: Low-Rank Adaptation (LoRA) は、自然言語処理やコンピュータビジョンなどの分野で広く応用されている効率的な微調整手法である。 連続学習のためのLoRAの新たな拡張である連続低ランク適応(C-LoRA)を提案する。 C-LoRAは学習可能なルーティングマトリックスを使用して、タスク間のパラメータ更新を動的に管理する。
• 参考スコア（独自算出の注目度）: 26.560293264523903
• License:
• Abstract: Low-Rank Adaptation (LoRA) is an efficient fine-tuning method that has been extensively applied in areas such as natural language processing and computer vision. Existing LoRA fine-tuning approaches excel in static environments but struggle in dynamic learning due to reliance on multiple adapter modules, increasing overhead and complicating inference. We propose Continual Low-Rank Adaptation (C-LoRA), a novel extension of LoRA for continual learning. C-LoRA uses a learnable routing matrix to dynamically manage parameter updates across tasks, ensuring efficient reuse of learned subspaces while enforcing orthogonality to minimize interference and forgetting. Unlike existing approaches that require separate adapters for each task, C-LoRA enables a integrated approach for task adaptation, achieving both scalability and parameter efficiency in sequential learning scenarios. C-LoRA achieves state-of-the-art accuracy and parameter efficiency on benchmarks while providing theoretical insights into its routing matrix's role in retaining and transferring knowledge, establishing a scalable framework for continual learning.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、自然言語処理やコンピュータビジョンなどの分野で広く応用されている効率的な微調整手法である。 既存のLoRAファインチューニングアプローチは、静的環境では優れているが、複数のアダプタモジュールに依存し、オーバーヘッドを増やし、推論を複雑にするため、動的学習に苦労する。 連続学習のためのLoRAの新たな拡張である連続低ランク適応(C-LoRA)を提案する。 C-LoRAは学習可能なルーティング行列を使用してタスク間のパラメータ更新を動的に管理し、学習したサブスペースの効率的な再利用を確保しながら、干渉と忘れを最小化するために直交性を強制する。 タスク毎に個別のアダプタを必要とする既存のアプローチとは異なり、C-LoRAはタスク適応のための統合的なアプローチを可能にし、逐次学習シナリオにおけるスケーラビリティとパラメータ効率の両方を達成する。 C-LoRAは、知識の保持と伝達におけるルーティングマトリックスの役割に関する理論的洞察を提供しながら、ベンチマークの最先端の精度とパラメータ効率を実現し、継続的な学習のためのスケーラブルなフレームワークを確立する。

関連論文リスト

• SPARC: Subspace-Aware Prompt Adaptation for Robust Continual Learning in LLMs [4.194295877935867]
  大規模言語モデル(LLM)のための軽量連続学習フレームワークを提案する。 本手法はタスク・インクリメンタル・ドメイン・インクリメンタル・ラーニング・セットアップにおいて高い知識保持を実現する。 SuperGLUEベンチマークの実験では、PCAベースのプロンプトチューニングとLoRAが組み合わさって、完全知識保持を維持しながら精度を向上し、モデルのパラメータの1%しか利用していないことが示されている。
  論文  参考訳（メタデータ） (2025-02-05T06:11:55Z)
• Dynamic Adaptation of LoRA Fine-Tuning for Efficient and Task-Specific Optimization of Large Language Models [0.7421845364041001]
  本稿では,大規模言語モデル-動的LoRAのためのファインチューニング手法を提案する。 効率と性能を改善するために動的適応機構を追加します。 動的LoRAの効率は、ベンチマークデータセットの実験で検証された。
  論文  参考訳（メタデータ） (2025-01-24T18:54:14Z)
• S-LoRA: Scalable Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、逐次的なタスクに事前訓練されたモデルのパワーを活用するための有望なアプローチとして現れてきた。 本稿では,LRAパラメータの方向と大きさの学習を段階的に分離する,CL(特にクラスインクリメンタルラーニング)のためのスケーラブル低ランク適応(S-LoRA)手法を提案する。 我々の理論的および実証的な分析により、S-LoRAは重なり合う低損失領域に収束する低損失軌道を辿る傾向にあり、CLの安定性と塑性のトレードオフは良好であることが示された。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
  微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。 Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。 隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
  論文  参考訳（メタデータ） (2024-12-12T13:04:54Z)
• Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
  大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。 現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。 そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
  論文  参考訳（メタデータ） (2024-12-03T07:25:30Z)
• Dual Low-Rank Adaptation for Continual Learning with Pre-Trained Models [38.97142043836567]
  継続学習(CL)は、視覚変換器(ViT)が時間とともに新しいタスクを学習できるようにすることを目的としている。 破滅的な忘れ物は いまだに難題です DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
  マルチタスク学習能力を大幅に向上させながら、低ランク適応の利点を保ちながら、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別するタスク適応パラメータを追加することでLoRAを強化する。 このアプローチにより、汎用コーパス上で事前訓練された大規模言語モデル(LLM)が、限られた数のトレーニング可能なパラメータで異なるターゲットタスクドメインに適応できる。
  論文  参考訳（メタデータ） (2024-10-12T08:32:26Z)
• MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning [105.11844150736536]
  低ランク適応は、大規模言語モデルのためのパラメータ効率の良い微調整法として人気がある。 トレーニング可能なパラメータ数を同じ数に保ちながら、高階更新を実現するために2乗行列を用いるMoRAと呼ばれる新しい手法を提案する。 本手法はメモリ集約型タスクではLoRAより優れ,他のタスクでは同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-20T15:48:32Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。