論文の概要: Learning Attentional Mixture of LoRAs for Language Model Continual Learning

• arxiv url: http://arxiv.org/abs/2409.19611v1
• Date: Sun, 29 Sep 2024 08:34:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 22:09:00.524946
• Title: Learning Attentional Mixture of LoRAs for Language Model Continual Learning
• Title（参考訳）: 言語モデル連続学習のためのLORAの意図的混合学習
• Authors: Jialin Liu, Jianhua Wu, Jie Liu, Yutai Duan,
• Abstract要約: Low-Rank Adaption (LoRA) を用いた細調整型大規模言語モデル (LLM) は,新しいタスクに対する継続的な学習に有効なアプローチとして広く認められている。 LLMに適した連続学習手法であるLoRA(Attentional Mixture of LoRAs, AM-LoRA)を提案する。
• 参考スコア（独自算出の注目度）: 5.405488709294211
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning large language models (LLMs) with Low-Rank adaption (LoRA) is widely acknowledged as an effective approach for continual learning for new tasks. However, it often suffers from catastrophic forgetting when dealing with multiple tasks sequentially. To this end, we propose Attentional Mixture of LoRAs (AM-LoRA), a continual learning approach tailored for LLMs. Specifically, AM-LoRA learns a sequence of LoRAs for a series of tasks to continually learn knowledge from different tasks. The key of our approach is that we devise an attention mechanism as a knowledge mixture module to adaptively integrate information from each LoRA. With the attention mechanism, AM-LoRA can efficiently leverage the distinctive contributions of each LoRA, while mitigating the risk of mutually negative interactions among them that may lead to catastrophic forgetting. Moreover, we further introduce $L1$ norm in the learning process to make the attention vector more sparse. The sparse constraints can enable the model to lean towards selecting a few highly relevant LoRAs, rather than aggregating and weighting all LoRAs collectively, which can further reduce the impact stemming from mutual interference. Experimental results on continual learning benchmarks indicate the superiority of our proposed method.
• Abstract（参考訳）: Low-Rank Adaption (LoRA) を用いた細調整型大規模言語モデル (LLM) は,新しいタスクに対する継続的な学習に有効なアプローチとして広く認められている。 しかし、複数のタスクを逐次処理する場合は、悲惨な忘れがちであることが多い。 この目的のために,LLM に適した連続学習手法である AM-LoRA (Attentional Mixture of LoRAs) を提案する。 具体的には、AM-LoRAは一連のタスクに対するLoRAのシーケンスを学習し、異なるタスクからの知識を継続的に学習する。 アプローチの鍵となるのは、各LoRAからの情報を適応的に統合する知識混合モジュールとして注意機構を考案することである。 注意機構により、AM-LoRAはそれぞれのLoRAの特有な貢献を効果的に活用でき、一方、破滅的な忘れを招く可能性のある相互に負の相互作用のリスクを軽減できる。 さらに、注意ベクトルをよりスパースにするために、学習プロセスに$L1$ normを導入します。 スパース制約により、モデルはすべてのLoRAをまとめて重み付けするのではなく、いくつかの非常に関係の深いLoRAを選択することができるため、相互干渉による影響をさらに軽減することができる。 連続学習ベンチマークの実験結果は,提案手法の優位性を示している。

関連論文リスト

• MALoRA: Mixture of Asymmetric Low-Rank Adaptation for Enhanced Multi-Task Learning [29.957620178740186]
  マルチタスクのシナリオでは、トレーニングの不均衡やシーソー効果といった課題が頻繁に現れます。 フレキシブルな微調整フレームワークとして非対称低ランク適応(MALoRA)の混合を提案する。 MALoRAはトレーニング可能なパラメータの数を30%から48%削減し、トレーニング速度を1.2倍にし、シングルタスクのLoRAモデルの計算効率に匹敵する。
  論文  参考訳（メタデータ） (2024-10-30T07:53:52Z)
• MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
  マルチタスク学習能力を大幅に向上させながら、低ランク適応の利点を保ちながら、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別するタスク適応パラメータを追加することでLoRAを強化する。 このアプローチにより、汎用コーパス上で事前訓練された大規模言語モデル(LLM)が、限られた数のトレーニング可能なパラメータで異なるターゲットタスクドメインに適応できる。
  論文  参考訳（メタデータ） (2024-10-12T08:32:26Z)
• Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。 本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-24T05:24:41Z)
• Mixture of LoRA Experts [87.50120181861362]
  本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。 MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
  論文  参考訳（メタデータ） (2024-04-21T11:59:53Z)
• Mixture-of-LoRAs: An Efficient Multitask Tuning for Large Language Models [7.966452497550907]
  大規模言語モデル(LLM)を用いたマルチタスク学習のためのMixture-of-LoRA(MoA)アーキテクチャを提案する。 複数のドメイン固有のLoRAモジュールは、Mixture-of-Experts(MoE)で観察される専門家設計原則と一致させることができる。 各LoRAモデルは、新しいドメインに反復的に適応することができ、素早くドメイン固有の適応を可能にする。
  論文  参考訳（メタデータ） (2024-03-06T03:33:48Z)
• LoRA-as-an-Attack! Piercing LLM Safety Under The Share-and-Play Scenario [61.99243609126672]
  LoRAモジュールにバックドアを注入し,LoRA感染機構を深く掘り下げる方法について検討した。 我々の狙いは、LoRA-as-an-Attackによる潜在的な影響を積極的に防止するため、新興のシェア・アンド・プレイシナリオにおける潜在的なリスクの認識を高めることである。
  論文  参考訳（メタデータ） (2024-02-29T20:25:16Z)
• LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative Tasks [72.88244322513039]
  LoRAは、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズするために軽量モジュールを使用している。 動的重みを利用して異なるLoRAの影響を調整するLoRA-Flowを提案する。 6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2024-02-18T04:41:25Z)
• LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。 実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T15:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。