論文の概要: LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed
Tasks in the Wild
- arxiv url: http://arxiv.org/abs/2402.09997v1
- Date: Thu, 15 Feb 2024 15:02:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 15:10:15.727168
- Title: LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed
Tasks in the Wild
- Title(参考訳): Lora Retriever: 野生の混合タスクに対する入力対応LORA検索と構成
- Authors: Ziyu Zhao, Leilei Gan, Guoyin Wang, Wangchunshu Zhou, Hongxia Yang,
Kun Kuang, Fei Wu
- Abstract要約: Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。
LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。
実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
- 参考スコア(独自算出の注目度): 76.67343971195267
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Low-Rank Adaptation (LoRA) provides an effective yet efficient solution for
fine-tuning large language models (LLM). The modular and plug-and-play nature
of LoRA enables the integration of diverse domain-specific LoRAs to enhance the
capabilities of LLMs. Previous research on exploiting multiple LoRAs either
focuses on specific isolated downstream tasks or fixes the selection of LoRAs
during training. However, in real-world scenarios, LLMs receive diverse prompts
covering different tasks, and the pool of candidate LoRAs is often dynamically
updated. To bridge this gap, we propose LoraRetriever, a retrieve-then-compose
framework that adaptively retrieves and composes multiple LoRAs according to
the input prompts. LoraRetriever contains three main components: firstly,
identifying and retrieving LoRAs relevant to the given input; secondly,
formulating strategies for effectively integrating the retrieved LoRAs; and
thirdly, developing efficient batch inference to accommodate heterogeneous
requests. Experimental results indicate that LoraRetriever consistently
outperforms the baselines, highlighting its practical effectiveness and
versatility.
- Abstract(参考訳): Low-Rank Adaptation (LoRA)は,大規模言語モデル(LLM)を微調整する上で,効率的かつ効率的なソリューションを提供する。
LoRAのモジュール性とプラグ・アンド・プレイ性により、多様なドメイン固有のLoRAを統合することで、LLMの能力を高めることができる。
複数のLoRAを悪用する以前の研究は、特定の独立した下流タスクに焦点を当てるか、トレーニング中のLoRAの選択を修正する。
しかし、現実のシナリオでは、LLMは様々なタスクをカバーする多様なプロンプトを受け取り、候補であるLoRAのプールはしばしば動的に更新される。
このギャップを埋めるために、入力プロンプトに応じて複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークであるLoraRetrieverを提案する。
loraretrieverには3つの主要なコンポーネントが含まれている: まず、与えられた入力に関連するlorasの識別と検索、次に取得したlorasを効果的に統合するための定式化戦略、そして第三に、異種リクエストに対応する効率的なバッチ推論を開発する。
実験結果から,LoraRetrieverはベースラインを一貫して上回り,実用性と汎用性を強調した。
関連論文リスト
- Mixture-of-LoRAs: An Efficient Multitask Tuning for Large Language
Models [7.966452497550907]
大規模言語モデル(LLM)を用いたマルチタスク学習のためのMixture-of-LoRA(MoA)アーキテクチャを提案する。
複数のドメイン固有のLoRAモジュールは、Mixture-of-Experts(MoE)で観察される専門家設計原則と一致させることができる。
各LoRAモデルは、新しいドメインに反復的に適応することができ、素早くドメイン固有の適応を可能にする。
論文 参考訳(メタデータ) (2024-03-06T03:33:48Z) - LoRA-as-an-Attack! Piercing LLM Safety Under The Share-and-Play Scenario [61.99243609126672]
LoRAモジュールにバックドアを注入し,LoRA感染機構を深く掘り下げる方法について検討した。
我々の狙いは、LoRA-as-an-Attackによる潜在的な影響を積極的に防止するため、新興のシェア・アンド・プレイシナリオにおける潜在的なリスクの認識を高めることである。
論文 参考訳(メタデータ) (2024-02-29T20:25:16Z) - Multi-LoRA Composition for Image Generation [111.88506763476249]
復号化中心の観点から,マルチロラ合成について検討する。
我々は,各聴覚ステップで異なるLoRAを交互に切り替えるLoRA Switchと,より密着的な画像合成を導くためにすべてのLoRAを同時に組み込むLoRA Compositeの2つのトレーニングフリー手法を提案する。
論文 参考訳(メタデータ) (2024-02-26T18:59:18Z) - Multimodal Instruction Tuning with Conditional Mixture of LoRA [54.65520214291653]
本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。
各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。
様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
論文 参考訳(メタデータ) (2024-02-24T20:15:31Z) - PRoLoRA: Partial Rotation Empowers More Parameter-Efficient LoRA [47.660775783954605]
部分回転付低ランク適応(PRoLoRA)を導入する。
PRoLoRAはその利点にかかわっており、ピアパラメータ共有手法の欠点を効果的に回避している。
実験によりPRoLoRAのパラメータ効率が著しく向上した。
論文 参考訳(メタデータ) (2024-02-24T13:39:05Z) - LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative
Tasks [72.88244322513039]
LoRAは、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズするために軽量モジュールを使用している。
動的重みを利用して異なるLoRAの影響を調整するLoRA-Flowを提案する。
6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。
論文 参考訳(メタデータ) (2024-02-18T04:41:25Z) - LLaVA-MoLE: Sparse Mixture of LoRA Experts for Mitigating Data Conflicts
in Instruction Finetuning MLLMs [29.96139552754377]
MLLMの命令微調整に有効なMixture of Experts(MoE)設計法を提案する。
大規模な実験により、LLaVA-MoLEは複数の異なる命令データセットを混合する際のデータ競合問題を効果的に軽減することが証明された。
LLaVA-MoLEは2倍のサンプルで訓練された平らなLoRAベースラインよりも優れている。
論文 参考訳(メタデータ) (2024-01-29T13:48:36Z) - MultiLoRA: Democratizing LoRA for Better Multi-Task Learning [20.750808913757396]
LoRAは、特定のタスクにLLMを適用する際に、顕著なリソース効率と同等のパフォーマンスを達成する。
LoRAは少数のトップ特異ベクトルに支配され、微調整はより重要でないユニタリ変換の集合に分解される。
我々は,LoRAで観測されるトップ特異ベクトルの優位性を低減し,マルチタスク適応性を向上するMultiLoRAを提案する。
論文 参考訳(メタデータ) (2023-11-20T02:59:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。