論文の概要: MoRE: A Mixture of Low-Rank Experts for Adaptive Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2505.22694v1
• Date: Wed, 28 May 2025 12:32:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.442923
• Title: MoRE: A Mixture of Low-Rank Experts for Adaptive Multi-Task Learning
• Title（参考訳）: MoRE: 適応型マルチタスク学習のための低ランクエキスパートの混合
• Authors: Dacao Zhang, Kun Zhang, Shimao Chu, Le Wu, Xin Li, Si Wei,
• Abstract要約: マルチタスクのためのMixture of Low-Rank Experts (MoRE)を提案する。 各タスクに個別のLoRAを使う代わりに、異なるタスクでLoRAモジュールの異なるランクを調整します。 また、タスクごとに適切な専門家を選択するために、新しい適応的なランクセレクタを設計する。
• 参考スコア（独自算出の注目度）: 18.0412262027514
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rapid development of Large Language Models (LLMs), Parameter-Efficient Fine-Tuning (PEFT) methods have gained significant attention, which aims to achieve efficient fine-tuning of LLMs with fewer parameters. As a representative PEFT method, Low-Rank Adaptation (LoRA) introduces low-rank matrices to approximate the incremental tuning parameters and achieves impressive performance over multiple scenarios. After that, plenty of improvements have been proposed for further improvement. However, these methods either focus on single-task scenarios or separately train multiple LoRA modules for multi-task scenarios, limiting the efficiency and effectiveness of LoRA in multi-task scenarios. To better adapt to multi-task fine-tuning, in this paper, we propose a novel Mixture of Low-Rank Experts (MoRE) for multi-task PEFT. Specifically, instead of using an individual LoRA for each task, we align different ranks of LoRA module with different tasks, which we named low-rank experts. Moreover, we design a novel adaptive rank selector to select the appropriate expert for each task. By jointly training low-rank experts, MoRE can enhance the adaptability and efficiency of LoRA in multi-task scenarios. Finally, we conduct extensive experiments over multiple multi-task benchmarks along with different LLMs to verify model performance. Experimental results demonstrate that compared to traditional LoRA and its variants, MoRE significantly improves the performance of LLMs in multi-task scenarios and incurs no additional inference cost. We also release the model and code to facilitate the community.
• Abstract（参考訳）: LLM(Large Language Models)の急速な発展に伴い,より少ないパラメータでLLMの効率的な微調整を実現するために,PEFT法が注目されている。 代表的PEFT法として,低ランク適応 (LoRA) はインクリメンタルチューニングパラメータを近似する低ランク行列を導入し,複数のシナリオに対して印象的な性能を実現する。 その後、さらなる改善のために多くの改善が提案されている。 しかし、これらの手法はシングルタスクシナリオにフォーカスするか、複数のLoRAモジュールをマルチタスクシナリオ用に個別にトレーニングし、マルチタスクシナリオにおけるLoRAの効率性と有効性を制限する。 本稿では,マルチタスクの微調整に適応するため,マルチタスクPEFTのためのMixture of Low-Rank Experts (MoRE)を提案する。 具体的には、各タスクに個別のLoRAを使う代わりに、LoRAモジュールの異なるランクに異なるタスクを合わせることで、低ランクの専門家を指名しました。 さらに,タスクごとに適切な専門家を選択するために,新しい適応的なランクセレクタを設計する。 低ランクの専門家を共同で訓練することで、マルチタスクシナリオにおけるLoRAの適応性と効率を高めることができる。 最後に、複数のマルチタスクベンチマークと異なるLLMを用いて、モデル性能の検証を行う。 実験により,従来のLoRAとその変種と比較して,MoREはマルチタスクシナリオにおけるLLMの性能を大幅に改善し,追加の推論コストを発生させないことが示された。 コミュニティを促進するために、モデルとコードもリリースしています。

関連論文リスト

• MALoRA: Mixture of Asymmetric Low-Rank Adaptation for Enhanced Multi-Task Learning [29.957620178740186]
  マルチタスクのシナリオでは、トレーニングの不均衡やシーソー効果といった課題が頻繁に現れます。 フレキシブルな微調整フレームワークとして非対称低ランク適応(MALoRA)の混合を提案する。 MALoRAはトレーニング可能なパラメータの数を30%から48%削減し、トレーニング速度を1.2倍にし、シングルタスクのLoRAモデルの計算効率に匹敵する。
  論文  参考訳（メタデータ） (2024-10-30T07:53:52Z)
• MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
  MTL能力を大幅に向上させながら、低ランク適応の利点を保ちつつ、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別し、共有知識をキャプチャするタスク適応パラメータを追加することで、LoRAを強化する。 このアプローチにより、事前訓練されたモデルは、限られた数のトレーニング可能なパラメータで、異なるターゲットドメインに共同で適応することができる。
  論文  参考訳（メタデータ） (2024-10-12T08:32:26Z)
• MoDE: Effective Multi-task Parameter Efficient Fine-Tuning with a Mixture of Dyadic Experts [6.245113492272563]
  Mixture of Dyadic Experts (MoDE) は効率的なマルチタスク適応のための新しい設計である。 我々の設計はよりきめ細かい混合を可能にし、それによってモデルの複数のタスクを共同で処理する能力を高めます。
  論文  参考訳（メタデータ） (2024-08-02T18:05:10Z)
• Multimodal Instruction Tuning with Conditional Mixture of LoRA [51.58020580970644]
  本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。 各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。 様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
  論文  参考訳（メタデータ） (2024-02-24T20:15:31Z)
• When MOE Meets LLMs: Parameter Efficient Fine-tuning for Multi-task Medical Applications [57.342772288710044]
  我々はMOELoRAと呼ばれるマルチタスク医療応用のためのパラメータ効率の良い微調整フレームワークを提案する。 MOEとLoRAを統一するために、トレーニング可能なパラメータとして複数の専門家を考案し、トレーニング可能なパラメータの小さなサイズを保持するために、各専門家は2つの低ランク行列から構成される。 マルチタスク医療データセットを用いて実験を行い、MOELoRAが既存のパラメータを効率よく微調整する手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-21T17:18:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。