論文の概要: Gated Integration of Low-Rank Adaptation for Continual Learning of Language Models

• arxiv url: http://arxiv.org/abs/2505.15424v1
• Date: Wed, 21 May 2025 12:08:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.616371
• Title: Gated Integration of Low-Rank Adaptation for Continual Learning of Language Models
• Title（参考訳）: 言語モデルの連続学習のための低ランク適応のゲーテッド統合
• Authors: Yan-Shuo Liang, Wu-Jun Li,
• Abstract要約: ローランク適応(ローランク適応、LoRA)は、PEFT法の一つである。 GainLoRAは新しいタスクごとに新しいLoRAブランチを拡張し、新しい古いLoRAブランチを統合するためのゲーティングモジュールを導入した。 CLベンチマークの実験結果は、GainLoRAが既存の最先端手法より優れていることを示している。
• 参考スコア（独自算出の注目度）: 12.004172212239848
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning (CL), which requires the model to learn multiple tasks sequentially, is crucial for language models (LMs). Recently, low-rank adaptation (LoRA), one of the most representative parameter-efficient fine-tuning (PEFT) methods, has gained increasing attention in CL of LMs. However, most existing CL methods based on LoRA typically expand a new LoRA branch to learn each new task and force the new and old LoRA branches to contribute equally to old tasks, potentially leading to forgetting. In this work, we propose a new method, called gated integration of low-rank adaptation (GainLoRA), for CL of LMs. GainLoRA expands a new LoRA branch for each new task and introduces gating modules to integrate the new and old LoRA branches. Furthermore, GainLoRA leverages the new gating module to minimize the contribution from the new LoRA branch to old tasks, effectively mitigating forgetting and improving the model's overall performance. Experimental results on CL benchmarks demonstrate that GainLoRA outperforms existing state-of-the-art methods.
• Abstract（参考訳）: 複数のタスクを逐次学習するモデルを必要とする連続学習(CL)は、言語モデル(LM)にとって不可欠である。 近年,最も代表的パラメータ効率の高い微調整法であるローランク適応法(LoRA)が,LMのCLにおいて注目を集めている。 しかし、LoRAベースの既存のCLメソッドの多くは、通常、新しいLoRAブランチを拡張して、新しいタスクを学習し、新しい古いLoRAブランチを古いタスクに等しく貢献させる。 本研究では,低ランク適応のゲート統合(GainLoRA)と呼ばれる,LMのCLのための新しい手法を提案する。 GainLoRAは新しいタスクごとに新しいLoRAブランチを拡張し、新しい古いLoRAブランチを統合するためのゲーティングモジュールを導入した。 さらに、GainLoRAは新しいゲーティングモジュールを活用して、新しいLoRAブランチから古いタスクへのコントリビューションを最小限にし、モデル全体のパフォーマンスを効果的に軽減し、改善する。 CLベンチマークの実験結果は、GainLoRAが既存の最先端手法より優れていることを示している。

関連論文リスト

• A Stronger Mixture of Low-Rank Experts for Fine-Tuning Foundation Models [22.457766373989365]
  Low-Rank Adapters (LoRA) は、命令チューニングやドメイン適応など、様々な分野に広く採用されている。 LoRAの限られた表現能力に対処するため、複数のLoRAアダプタを組み込むためのMixture-of-Expert (MoE)が導入されている。 マルチスペースプロジェクションによる特徴学習手順の安定化と向上を図るため,MoE-LoRAの新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2025-02-20T05:58:53Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.98941571078398]
  Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。 最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。 効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。 各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-25T06:56:39Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Merging LoRAs like Playing LEGO: Pushing the Modularity of LoRA to Extremes Through Rank-Wise Clustering [35.54018186415654]
  Low-Rank Adaptation (LoRA) は、様々なドメインに最適化された大規模言語モデル(LLM)の一般的なテクニックとして登場した。 LoRA合成の既存の方法は、主に追加の訓練を必要とするタスク固有の適応に焦点を当てている。 本稿では,LoRAにおける各ランクに対応するパラメータが独立単位として機能する最小意味単位(MSU)の概念を紹介する。 我々は、異なるLoRAから$k$のクラスタにMSUをグループ化することで、ランクワイズパラメータクラスタリングを行うLoRA-LEGOフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T15:08:41Z)
• LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。 実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T15:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。