Fugu-MT 論文翻訳(概要): DLP-LoRA: Efficient Task-Specific LoRA Fusion with a Dynamic, Lightweight Plugin for Large Language Models

論文の概要: DLP-LoRA: Efficient Task-Specific LoRA Fusion with a Dynamic, Lightweight Plugin for Large Language Models

arxiv url: http://arxiv.org/abs/2410.01497v1
Date: Wed, 2 Oct 2024 12:45:52 GMT
ステータス: 処理完了
システム内更新日: 2024-11-04 17:24:31.156043
Title: DLP-LoRA: Efficient Task-Specific LoRA Fusion with a Dynamic, Lightweight Plugin for Large Language Models
Title（参考訳）: DLP-LoRA:大規模言語モデルのための動的軽量プラグインを用いたタスク特化LoRA融合
Authors: Yuxuan Zhang, Ruizhe Li,
Abstract要約: 大規模言語モデル(LLM)は様々なタスクで堅牢なパフォーマンスを実現していますが、これらのモデルを特定のドメイン向けに微調整することはリソース集約的です。 5Mパラメータしか持たないミニMLPモジュールを提案し、トップpサンプリング戦略を用いて文レベルで複数のLoRAを動的に融合する。このアプローチは、並列計算を利用することで、単一のLoRA推論の2倍未満まで推論時間を短縮する。
参考スコア（独自算出の注目度）: 10.179598253424103
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent advancements in Large Language Models (LLMs) have achieved robust performance across diverse tasks, but fine-tuning these models for specific domains remains resource-intensive. Parameter-Efficient Fine-Tuning (PEFT) methods like Low-Rank Adaptation (LoRA) address this challenge by fine-tuning a small subset of parameters. However, existing methods for fusing multiple LoRAs lack dynamic fusion based on contextual inputs and often increase inference time due to token-level operations. We propose DLP-LoRA, a Dynamic Lightweight Plugin that employs a mini-MLP module with only 5M parameters to dynamically fuse multiple LoRAs at the sentence level using top-p sampling strategies. This approach reduces inference time to less than twice that of single LoRA inference by leveraging parallel computation. Evaluations across 26 tasks-including multiple-choice questions and question answering-demonstrate that DLP-LoRA achieves an average accuracy of 92.34% on multiple-choice datasets and significant improvements in BLEU and ROUGE scores on QA datasets, outperforming different LLMs backbones under composite task settings. DLP-LoRA effectively balances performance and efficiency, making it a practical solution for dynamic multi-task adaptation in LLMs. Our code is available at https://github.com/MeCuping/DLP-LoRA.
Abstract（参考訳）: 近年のLarge Language Models (LLM) の進歩は多種多様なタスクにまたがって堅牢なパフォーマンスを実現している。 Low-Rank Adaptation (LoRA) のようなパラメータ効率の良いファインチューニング(PEFT)手法は、パラメータの小さなサブセットを微調整することでこの問題に対処する。しかし、複数のLoRAを融合させる既存の手法では、コンテキスト入力に基づく動的融合が欠如しており、トークンレベルの操作による推論時間の増加も少なくない。 DLP-LoRAは,5Mパラメータしか持たないミニMLPモジュールを用いて,テキストレベルで複数のLoRAを動的に融合する動的軽量プラグインである。このアプローチは、並列計算を利用することで、単一のLoRA推論の2倍未満まで推論時間を短縮する。 DLP-LoRAは複数の選択データセットで平均92.34%の精度を達成し、QAデータセットでBLEUとROUGEのスコアを大幅に改善し、複合タスク設定下で異なるLLMのバックボーンを上回っている。 DLP-LoRAは性能と効率のバランスを効果的に保ち、LLMにおける動的マルチタスク適応の実用的なソリューションである。私たちのコードはhttps://github.com/MeCuping/DLP-LoRAで利用可能です。

関連論文リスト

LoRA-Mini : Adaptation Matrices Decomposition and Selective Training [2.0670689746336]
Low-Rank Adaptation (LoRA)は、トレーニング可能なパラメータの数を減らし、パラメータ効率の良い微調整を可能にする、有望なソリューションとして登場した。低ランク行列を4つに分割することでパラメータ効率を向上させるLoRAを最適化したLoRA-Miniを提案する。このアプローチは、標準のLoRAに匹敵するパフォーマンスレベルを維持しながら、トレーニング可能なパラメータの数に対して、標準のLoRAと比較して最大20倍の削減を実現している。
論文参考訳（メタデータ） (2024-11-24T12:21:14Z)
LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
論文参考訳（メタデータ） (2024-10-27T22:57:12Z)
Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文参考訳（メタデータ） (2024-10-25T17:07:13Z)
MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
マルチタスク学習能力を大幅に向上させながら、低ランク適応の利点を保ちながら、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別するタスク適応パラメータを追加することでLoRAを強化する。このアプローチにより、汎用コーパス上で事前訓練された大規模言語モデル(LLM)が、限られた数のトレーニング可能なパラメータで異なるターゲットタスクドメインに適応できる。
論文参考訳（メタデータ） (2024-10-12T08:32:26Z)
Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-24T05:24:41Z)
ShareLoRA: Parameter Efficient and Robust Large Language Model Fine-tuning via Shared Low-Rank Adaptation [4.07532985236519]
本研究では,共有低ランク適応(ShareLoRA)を実装することにより,事前学習言語モデル(PLM)に対するPEFT(Efficient Fine Tuning)の最適化手法を提案する。異なるレイヤにShareLoRAを戦略的にデプロイし、それを自己アテンションレイヤのクエリ、キー、バリューコンポーネントに適用することにより、トレーニングパラメータの数とメモリ使用量を大幅に削減します。この結果から、ShareLoRAはパラメータ効率を効果的に向上し、異なる言語モデルアーキテクチャにおけるスケーラブルで高品質な性能を確保します。
論文参考訳（メタデータ） (2024-06-16T02:52:28Z)
LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
論文参考訳（メタデータ） (2024-02-15T15:02:46Z)
Chain of LoRA: Efficient Fine-tuning of Language Models via Residual Learning [31.036465632204663]
本稿では,Frank-Wolfeアルゴリズムにインスパイアされた反復最適化フレームワークであるLoRAのChainを紹介する。計算コストやメモリコストを増大させることなく,COLA が LoRA を一貫して上回ることを示す。
論文参考訳（メタデータ） (2024-01-08T14:26:49Z)
Batched Low-Rank Adaptation of Foundation Models [14.037826400805741]
ローランド適応 (LoRA) は, トレーニング可能な低ランク行列を組み込んだファウンデーションモデルに注目されている。我々はFast LoRA(FloRA)という,ミニバッチにおける各入力例を,そのユニークな低ランク適応重みに関連付けることのできるフレームワークを紹介した。我々は,FLoRAがLoRAの性能特性を保っていることを実証的に証明し,8言語にまたがるMultipleコード生成ベンチマークと6言語にまたがる多言語音声認識タスクにおいて,競合する結果を示す。
論文参考訳（メタデータ） (2023-12-09T20:51:48Z)
MultiLoRA: Democratizing LoRA for Better Multi-Task Learning [20.750808913757396]
LoRAは、特定のタスクにLLMを適用する際に、顕著なリソース効率と同等のパフォーマンスを達成する。 LoRAは少数のトップ特異ベクトルに支配され、微調整はより重要でないユニタリ変換の集合に分解される。我々は,LoRAで観測されるトップ特異ベクトルの優位性を低減し,マルチタスク適応性を向上するMultiLoRAを提案する。
論文参考訳（メタデータ） (2023-11-20T02:59:18Z)
CA-LoRA: Adapting Existing LoRA for Compressed LLMs to Enable Efficient Multi-Tasking on Personal Devices [78.16679232748196]
本稿では,Large Language Models (LLM) を他のタスクに転送するための圧縮対応 LoRA (CA-LoRA) フレームワークを提案する。実験の結果,CA-LoRAは圧縮LDMに適用したバニラロラ法よりも優れていた。 CA-LoRAのソースコードはhttps://github.com/thunlp/CA-LoRAで公開されている。
論文参考訳（メタデータ） (2023-07-15T04:37:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。