論文の概要: MeteoRA: Multiple-tasks Embedded LoRA for Large Language Models
- arxiv url: http://arxiv.org/abs/2405.13053v2
- Date: Fri, 24 May 2024 13:38:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 19:58:14.030029
- Title: MeteoRA: Multiple-tasks Embedded LoRA for Large Language Models
- Title(参考訳): MeteoRA: 大規模言語モデルのためのマルチタスク組み込みLoRA
- Authors: Jingwei Xu, Junyu Lai, Yunpeng Huang,
- Abstract要約: 大規模言語モデル(LLM)用に設計されたスケーラブルなマルチ知識LoRA融合フレームワークであるMeteoRAを紹介する。
MeteoRAは様々なLoRAアダプタをMixture-of-Experts (MoE)スタイルのベースLLMに統合し、モデルがタスク入力に基づいて関連するアダプタを自動的に選択できるようにする。
LlaMA2-13B と LlaMA3-8B ベースモデルに既製の 28 個の LoRA アダプタを MeteoRA 経由で搭載し,各アダプタと同等の性能を示した。
- 参考スコア(独自算出の注目度): 4.978361907192563
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The pretrain+fine-tune paradigm is foundational in deploying large language models (LLMs) across a diverse range of downstream applications. Among these, Low-Rank Adaptation (LoRA) stands out for its parameter-efficient fine-tuning (PEFT), producing numerous off-the-shelf task-specific LoRA adapters. However, this approach requires explicit task intention selection, posing challenges for automatic task sensing and switching during inference with multiple existing LoRA adapters embedded in a single LLM. In this work, we introduce MeteoRA (Multiple-Tasks embedded LoRA), a scalable multi-knowledge LoRA fusion framework designed for LLMs. MeteoRA integrates various LoRA adapters in a Mixture-of-Experts (MoE) style into the base LLM, enabling the model to automatically select the most pertinent adapter based on the task input. This advancement significantly enhances the LLM's capability to handle composite tasks that require different adapters to solve various components of the problem. Our evaluations, featuring the LlaMA2-13B and LlaMA3-8B base models equipped with off-the-shelf 28 LoRA adapters through MeteoRA, demonstrate equivalent performance with the individual adapters. Furthermore, both base models equipped with MeteoRA achieve superior performance in sequentially solving composite tasks with ten problems in only a single inference process, highlighting the ability of timely intention switching in MeteoRA embedded LLMs.
- Abstract(参考訳): Pretrain+fine-tuneパラダイムは、さまざまなダウンストリームアプリケーションに大規模な言語モデル(LLM)をデプロイする上での基礎となる。
このうちローランド適応(LoRA)はそのパラメータ効率のよい微調整(PEFT)で際立っている。
しかし、このアプローチでは、明示的なタスク意図の選択、自動タスク検出や、複数の既存のLoRAアダプタを1つのLLMに埋め込んだ推論時の切り替えといった課題に対処する必要がある。
本稿では,LLM向けに設計されたスケーラブルなマルチ知識 LoRA 融合フレームワークである MeteoRA (Multiple-Tasks embedded LoRA) を紹介する。
MeteoRAは様々なLoRAアダプタをMixture-of-Experts (MoE)スタイルのベースLLMに統合し、モデルがタスク入力に基づいて関連するアダプタを自動的に選択できるようにする。
この進歩はLLMの様々な問題を解くために様々なアダプタを必要とする複合タスクを扱う能力を大幅に向上させる。
LlaMA2-13B と LlaMA3-8B ベースモデルに既製の 28 個の LoRA アダプタを MeteoRA 経由で搭載し,各アダプタと同等の性能を示した。
さらに,MeteoRAを組み込んだ両ベースモデルは,1つの推論プロセスのみで10の問題を逐次解決し,MeteoRA組み込みLLMにおける時間的意図的切替能力を強調した。
関連論文リスト
- Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。
本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-24T05:24:41Z) - Mixture of LoRA Experts [87.50120181861362]
本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。
MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
論文 参考訳(メタデータ) (2024-04-21T11:59:53Z) - Mixture-of-LoRAs: An Efficient Multitask Tuning for Large Language
Models [7.966452497550907]
大規模言語モデル(LLM)を用いたマルチタスク学習のためのMixture-of-LoRA(MoA)アーキテクチャを提案する。
複数のドメイン固有のLoRAモジュールは、Mixture-of-Experts(MoE)で観察される専門家設計原則と一致させることができる。
各LoRAモデルは、新しいドメインに反復的に適応することができ、素早くドメイン固有の適応を可能にする。
論文 参考訳(メタデータ) (2024-03-06T03:33:48Z) - Multimodal Instruction Tuning with Conditional Mixture of LoRA [54.65520214291653]
本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。
各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。
様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
論文 参考訳(メタデータ) (2024-02-24T20:15:31Z) - LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative
Tasks [72.88244322513039]
LoRAは、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズするために軽量モジュールを使用している。
動的重みを利用して異なるLoRAの影響を調整するLoRA-Flowを提案する。
6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。
論文 参考訳(メタデータ) (2024-02-18T04:41:25Z) - LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed
Tasks in the Wild [76.67343971195267]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。
LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。
実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
論文 参考訳(メタデータ) (2024-02-15T15:02:46Z) - MultiLoRA: Democratizing LoRA for Better Multi-Task Learning [20.750808913757396]
LoRAは、特定のタスクにLLMを適用する際に、顕著なリソース効率と同等のパフォーマンスを達成する。
LoRAは少数のトップ特異ベクトルに支配され、微調整はより重要でないユニタリ変換の集合に分解される。
我々は,LoRAで観測されるトップ特異ベクトルの優位性を低減し,マルチタスク適応性を向上するMultiLoRAを提案する。
論文 参考訳(メタデータ) (2023-11-20T02:59:18Z) - S-LoRA: Serving Thousands of Concurrent LoRA Adapters [59.490751234925206]
パラメータ効率のよい微調整法であるLoRA(Lo-Rank Adaptation)は、ベースモデルを複数のタスクに適応させるためによく用いられる。
本稿では,多数のLoRAアダプタのスケーラブルな提供を目的としたシステムであるS-LoRAを提案する。
論文 参考訳(メタデータ) (2023-11-06T17:26:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。