Fugu-MT 論文翻訳(概要): MixLoRA: Enhancing Large Language Models Fine-Tuning with LoRA based Mixture of Experts

論文の概要: MixLoRA: Enhancing Large Language Models Fine-Tuning with LoRA based Mixture of Experts

arxiv url: http://arxiv.org/abs/2404.15159v1
Date: Mon, 22 Apr 2024 02:15:52 GMT
ステータス: 処理完了
システム内更新日: 2024-04-24 13:22:34.241798
Title: MixLoRA: Enhancing Large Language Models Fine-Tuning with LoRA based Mixture of Experts
Title（参考訳）: MixLoRA: LoRAをベースとしたエキスパートのミキサーによる微調整による大規模言語モデルの実現
Authors: Dengchun Li, Yingzi Ma, Naizheng Wang, Zhiyuan Cheng, Lei Duan, Jie Zuo, Cal Yang, Mingjie Tang,
Abstract要約: MixLoRAは、リソース効率の良いスパースMoEモデルの構築を目的とした革新的なアプローチである。実験では、MixLoRAは、シングルタスクとマルチタスクの学習シナリオの両方で、すべての評価指標の可読性を達成する。
参考スコア（独自算出の注目度）: 2.197828671701335
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) have showcased exceptional performance across a wide array of Natural Language Processing (NLP) tasks. Fine-tuning techniques are commonly utilized to tailor pre-trained models to specific applications. While methods like LoRA have effectively tackled GPU memory constraints during fine-tuning, their applicability is often restricted to limited performance, especially on multi-task. On the other hand, Mix-of-Expert (MoE) models, such as Mixtral 8x7B, demonstrate remarkable performance across multiple NLP tasks while maintaining a reduced parameter count. However, the resource requirements of these MoEs still challenging, particularly for consumer-grade GPUs only have limited VRAM. To address these challenge, we propose MixLoRA, an innovative approach aimed at constructing a resource-efficient sparse MoE model based on LoRA. MixLoRA inserts multiple LoRA-based experts within the feed-forward network block of a frozen pre-trained dense model through fine-tuning, employing a commonly used top-k router. Unlike other LoRA based MoE methods, MixLoRA enhances model performance by utilizing independently configurable attention-layer LoRA adapters, supporting the use of LoRA and its variants for the construction of experts, and applying auxiliary load balance loss to address the imbalance problem of the router. In experiments, MixLoRA achieves commendable performance across all evaluation metrics in both single-task and multi-task learning scenarios. Implemented within the m-LoRA framework, MixLoRA enables parallel fine-tuning of multiple mixture-of-experts models on a single 24GB consumer-grade GPU without quantization, thereby reducing GPU memory consumption by 41\% and latency during the training process by 17\%.
Abstract（参考訳）: 大規模言語モデル(LLM)は、広範囲の自然言語処理(NLP)タスクで例外的なパフォーマンスを示した。ファインチューニング技術は、特定のアプリケーションに事前訓練されたモデルを調整するために一般的に使用される。 LoRAのようなメソッドは、微調整中にGPUメモリの制約に効果的に取り組んだが、その適用性はしばしば、特にマルチタスクにおいて、限られたパフォーマンスに制限されている。一方、Mixtral 8x7BのようなMix-of-Expert(MoE)モデルは、パラメータ数を削減しつつ、複数のNLPタスクにまたがる顕著な性能を示す。しかし、特にコンシューマグレードのGPUでは、これらのMoEのリソース要件は、限られたVRAMしか持たない。このような課題に対処するため,資源効率の低いMoEモデルの構築を目的としたMixLoRAを提案する。 MixLoRAは、凍ったトレーニング済みの高密度モデルのフィードフォワードネットワークブロック内に複数のLoRAベースのエキスパートを挿入し、通常使用されるトップkルータを使用する。他のLoRAベースのMoE手法とは異なり、MixLoRAは独立に構成可能なアテンション層LoRAアダプタを活用し、専門家の構築にLoRAとその変種の使用をサポートし、ルータの不均衡問題に対処するために補助負荷バランス損失を適用することでモデル性能を向上させる。実験では、MixLoRAは、シングルタスクとマルチタスクの学習シナリオの両方で、すべての評価指標の可読性を達成する。 m-LoRAフレームワーク内に実装されているMixLoRAは、量子化せずに、24GBのコンシューマグレードのGPU上で、複数のMix-of-expertsモデルの並列微調整を可能にする。

関連論文リスト

In-Context Meta LoRA Generation [61.690065588534296]
Low-rank Adaptation (LoRA) はタスク固有の微調整機能を示す。 In-Context Meta LoRA (ICM-LoRA) は,大規模言語モデルのタスク固有のカスタマイズを効率的に行う新しい手法である。 ICM-LoRAは、現在のパラメータ再構成法よりも正確なLoRAパラメータ再構成を可能にする。
論文参考訳（メタデータ） (2025-01-29T13:12:01Z)
Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.98941571078398]
Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
論文参考訳（メタデータ） (2025-01-25T06:56:39Z)
MoSLD: An Extremely Parameter-Efficient Mixture-of-Shared LoRAs for Multi-Task Learning [8.868481107848185]
MoSLDは、ドロップアウト戦略を備えた混合共有LoRAモデルである。 MoSLDは、LoRAの上部プロジェクションマトリックスをさまざまな専門家の間で共有することで、課題に対処する。本モデルは,シングルタスクシナリオとマルチタスクシナリオの両方において優れた性能を示す。
論文参考訳（メタデータ） (2024-12-12T05:22:49Z)
MALoRA: Mixture of Asymmetric Low-Rank Adaptation for Enhanced Multi-Task Learning [29.957620178740186]
マルチタスクのシナリオでは、トレーニングの不均衡やシーソー効果といった課題が頻繁に現れます。フレキシブルな微調整フレームワークとして非対称低ランク適応(MALoRA)の混合を提案する。 MALoRAはトレーニング可能なパラメータの数を30%から48%削減し、トレーニング速度を1.2倍にし、シングルタスクのLoRAモデルの計算効率に匹敵する。
論文参考訳（メタデータ） (2024-10-30T07:53:52Z)
MiLoRA: Efficient Mixture of Low-Rank Adaptation for Large Language Models Fine-tuning [9.91790333647256]
低ランク適応法(LoRA)とその混合実験法(MOE)は,高効率なパラメータ効率微調整法(PEFT)である。新規かつ効率的なLoRA変種であるMiLoRAを提案する。 MiLoRAは、各LoRAモジュールを専門家として考慮し、プロンプト対応のルーティング機構を採用することで、従来のMOEスタイルのLoRAメソッドと異なる。
論文参考訳（メタデータ） (2024-10-23T17:04:40Z)
Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-24T05:24:41Z)
ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。 NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
論文参考訳（メタデータ） (2024-02-28T04:33:20Z)
MoELoRA: Contrastive Learning Guided Mixture of Experts on Parameter-Efficient Fine-Tuning for Large Language Models [24.17147521556083]
本稿では,新しいPEFT手法であるMoELoRAを紹介する。数学推論と常識推論のベンチマークにおいて,11のタスクについて実験を行った。 MoELoRAはLoRAよりも4.2%高い平均性能を達成し、いくつかのベンチマークで175B GPT-3.5と比較して競争性能を示した。
論文参考訳（メタデータ） (2024-02-20T09:30:48Z)
mLoRA: Fine-Tuning LoRA Adapters via Highly-Efficient Pipeline Parallelism in Multiple GPUs [5.735411578779657]
Low-Rank Adaptation (LoRA) はパラメータ効率のよい微調整法で、ベースLSMを複数の下流タスクに適応させるのに使われる。 LoRAプラットフォームにより、開発者は複数のモデルを微調整し、さまざまなドメイン固有のアプリケーションを同時に開発できる。既存のモデル並列化スキームは、複数のLoRAタスクをトレーニングする際に、高い通信オーバーヘッドと非効率なGPU利用に悩まされる。
論文参考訳（メタデータ） (2023-12-05T05:38:38Z)
S-LoRA: Serving Thousands of Concurrent LoRA Adapters [59.490751234925206]
パラメータ効率のよい微調整法であるLoRA(Lo-Rank Adaptation)は、ベースモデルを複数のタスクに適応させるためによく用いられる。本稿では,多数のLoRAアダプタのスケーラブルな提供を目的としたシステムであるS-LoRAを提案する。
論文参考訳（メタデータ） (2023-11-06T17:26:17Z)
LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
論文参考訳（メタデータ） (2023-05-28T15:15:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。