論文の概要: Mixture-of-LoRAs: An Efficient Multitask Tuning for Large Language
Models
- arxiv url: http://arxiv.org/abs/2403.03432v1
- Date: Wed, 6 Mar 2024 03:33:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 16:27:49.593917
- Title: Mixture-of-LoRAs: An Efficient Multitask Tuning for Large Language
Models
- Title(参考訳): 混合LoRA:大規模言語モデルのための効率的なマルチタスクチューニング
- Authors: Wenfeng Feng and Chuzhan Hao and Yuewei Zhang and Yu Han and Hao Wang
- Abstract要約: 大規模言語モデル(LLM)を用いたマルチタスク学習のためのMixture-of-LoRA(MoA)アーキテクチャを提案する。
複数のドメイン固有のLoRAモジュールは、Mixture-of-Experts(MoE)で観察される専門家設計原則と一致させることができる。
各LoRAモデルは、新しいドメインに反復的に適応することができ、素早くドメイン固有の適応を可能にする。
- 参考スコア(独自算出の注目度): 7.966452497550907
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Instruction Tuning has the potential to stimulate or enhance specific
capabilities of large language models (LLMs). However, achieving the right
balance of data is crucial to prevent catastrophic forgetting and interference
between tasks. To address these limitations and enhance training flexibility,
we propose the Mixture-of-LoRAs (MoA) architecture which is a novel and
parameter-efficient tuning method designed for multi-task learning with LLMs.
In this paper, we start by individually training multiple domain-specific LoRA
modules using corresponding supervised corpus data. These LoRA modules can be
aligned with the expert design principles observed in Mixture-of-Experts (MoE).
Subsequently, we combine the multiple LoRAs using an explicit routing strategy
and introduce domain labels to facilitate multi-task learning, which help
prevent interference between tasks and ultimately enhances the performance of
each individual task. Furthermore, each LoRA model can be iteratively adapted
to a new domain, allowing for quick domain-specific adaptation. Experiments on
diverse tasks demonstrate superior and robust performance, which can further
promote the wide application of domain-specific LLMs.
- Abstract(参考訳): インストラクションチューニングは、大きな言語モデル(LLM)の特定の能力を刺激または強化する可能性がある。
しかし、データの適切なバランスを達成することは、破滅的な忘れ込みやタスク間の干渉を防止するために重要である。
LLMを用いたマルチタスク学習のための新しいパラメータ効率チューニング手法であるMixture-of-LoRA(Mixture-of-LoRAs)アーキテクチャを提案する。
本稿では,教師付きコーパスデータを用いて複数のドメイン固有loraモジュールを個別に訓練することから始める。
これらのLoRAモジュールは、Mixture-of-Experts (MoE)で観察される専門家の設計原則と整合することができる。
その後、明示的なルーティング戦略を用いて複数のLoRAを組み合わせてドメインラベルを導入し、タスク間の干渉を防止し、個々のタスクのパフォーマンスを最終的に向上させるマルチタスク学習を容易にする。
さらに、各loraモデルは反復的に新しいドメインに適応することができ、素早くドメイン固有の適応を可能にする。
多様なタスクの実験は、優れた、堅牢な性能を示し、ドメイン固有のLLMの幅広い適用を促進することができる。
関連論文リスト
- Multimodal Instruction Tuning with Conditional Mixture of LoRA [54.65520214291653]
本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。
各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。
様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
論文 参考訳(メタデータ) (2024-02-24T20:15:31Z) - LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed
Tasks in the Wild [76.67343971195267]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。
LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。
実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
論文 参考訳(メタデータ) (2024-02-15T15:02:46Z) - LLaVA-MoLE: Sparse Mixture of LoRA Experts for Mitigating Data Conflicts
in Instruction Finetuning MLLMs [29.96139552754377]
MLLMの命令微調整に有効なMixture of Experts(MoE)設計法を提案する。
大規模な実験により、LLaVA-MoLEは複数の異なる命令データセットを混合する際のデータ競合問題を効果的に軽減することが証明された。
LLaVA-MoLEは2倍のサンプルで訓練された平らなLoRAベースラインよりも優れている。
論文 参考訳(メタデータ) (2024-01-29T13:48:36Z) - A Framework to Implement 1+N Multi-task Fine-tuning Pattern in LLMs
Using the CGC-LORA Algorithm [7.521690071464451]
大規模言語モデル (LLM) において, 1 + N mutli-task の微調整パターンを実装する統一フレームワークを提案する。
我々の研究は、MPL(CGC)とPEFT(LoRA)の両方の利点を享受することを目的としている。
論文 参考訳(メタデータ) (2024-01-22T07:58:31Z) - Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。
本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。
このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
論文 参考訳(メタデータ) (2024-01-14T16:17:07Z) - Mixture of Cluster-conditional LoRA Experts for Vision-language
Instruction Tuning [71.53493981808238]
クラスター条件のLoRAエキスパート(MoCLE)の混合
MoCLEはタスクカスタマイズモデルパラメータを活性化するために設計された新しいMixture of Expertsアーキテクチャである。
新規な命令に対するMoCLEの一般化能力を改善するために、別個のユニバーサルエキスパートがさらに組み込まれている。
論文 参考訳(メタデータ) (2023-12-19T18:11:19Z) - Routing to the Expert: Efficient Reward-guided Ensemble of Large
Language Models [69.51130760097818]
本研究では,報奨誘導型ルーティング手法であるZooterを提案する。
さまざまなドメインやタスクについて26のサブセットを持つ総合的なベンチマークコレクション上でZooterを評価する。
論文 参考訳(メタデータ) (2023-11-15T04:40:43Z) - Contrastive Modules with Temporal Attention for Multi-Task Reinforcement
Learning [29.14234496784581]
マルチタスク強化学習のためのCMTA法を用いたコントラストモジュールを提案する。
CMTAは、互いに異なるモジュールを対照的に学習し、共有モジュールをタスクレベルよりも細かい粒度で組み合わせることによって制約する。
実験の結果,CMTAは各タスクを個別に学習し,大幅な性能向上を実現していることがわかった。
論文 参考訳(メタデータ) (2023-11-02T08:41:00Z) - Controllable Pareto Multi-Task Learning [55.945680594691076]
マルチタスク学習システムは,複数のタスクを同時に解決することを目的としている。
固定されたモデルキャパシティでは、タスクは互いに衝突し、システムは通常、それらすべてを学ぶためにトレードオフをしなければならない。
本研究では,異なるタスク間のリアルタイムなトレードオフ制御を実現するための,新しい制御可能なマルチタスク学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-13T11:53:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。