論文の概要: MOELoRA: An MOE-based Parameter Efficient Fine-Tuning Method for Multi-task Medical Applications

• arxiv url: http://arxiv.org/abs/2310.18339v1
• Date: Sat, 21 Oct 2023 17:18:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-05 13:52:01.890785
• Title: MOELoRA: An MOE-based Parameter Efficient Fine-Tuning Method for Multi-task Medical Applications
• Title（参考訳）: MOELoRA:マルチタスク医療応用のためのMOE-based Parameter Efficient Fine-Tuning Method
• Authors: Qidong Liu, Xian Wu, Xiangyu Zhao, Yuanshao Zhu, Derong Xu, Feng Tian, Yefeng Zheng
• Abstract要約: 我々はMOELoRAと呼ばれるマルチタスク医療応用のためのパラメータ効率の良いファインチューニングフレームワークを提案する。 MOEとLoRAを統一するために、私たちは複数の専門家をトレーニング可能なパラメータとして考えました。 実験の結果, MOELoRAは既存のパラメータ効率の高い微調整法よりも優れていた。
• 参考スコア（独自算出の注目度）: 60.218266928939606
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent surge in the field of Large Language Models (LLMs) has gained significant attention in numerous domains. In order to tailor an LLM to a specific domain such as a web-based healthcare system, fine-tuning with domain knowledge is necessary. However, two issues arise during fine-tuning LLMs for medical applications. The first is the problem of task variety, where there are numerous distinct tasks in real-world medical scenarios. This diversity often results in suboptimal fine-tuning due to data imbalance and seesawing problems. Additionally, the high cost of fine-tuning can be prohibitive, impeding the application of LLMs. The large number of parameters in LLMs results in enormous time and computational consumption during fine-tuning, which is difficult to justify. To address these two issues simultaneously, we propose a novel parameter-efficient fine-tuning framework for multi-task medical applications called MOELoRA. The framework aims to capitalize on the benefits of both MOE for multi-task learning and LoRA for parameter-efficient fine-tuning. To unify MOE and LoRA, we devise multiple experts as the trainable parameters, where each expert consists of a pair of low-rank matrices to maintain a small number of trainable parameters. Additionally, we propose a task-motivated gate function for all MOELoRA layers that can regulate the contributions of each expert and generate distinct parameters for various tasks. To validate the effectiveness and practicality of the proposed method, we conducted comprehensive experiments on a public multi-task Chinese medical dataset. The experimental results demonstrate that MOELoRA outperforms existing parameter-efficient fine-tuning methods. The implementation is available online for convenient reproduction of our experiments.
• Abstract（参考訳）: 近年の大規模言語モデル(llm)の分野の急増は、多くの領域で大きな注目を集めている。 LLMをWebベースの医療システムのような特定のドメインに調整するには、ドメイン知識による微調整が必要である。 しかし、医療応用のための微調整LDM中に2つの問題が発生する。 ひとつはタスクの多様性の問題であり、現実世界の医療シナリオには多くの異なるタスクがある。 この多様性は、データ不均衡とシーソー問題により、しばしば最適以下の微調整をもたらす。 加えて、高コストの微調整は禁止され、LLMの適用を妨げる。 LLMの大量のパラメータは、微調整中に膨大な時間と計算消費をもたらすが、正当化は困難である。 これら2つの課題を同時に解決するために,MOELoRAと呼ばれるマルチタスク医療応用のためのパラメータ効率の高い微調整フレームワークを提案する。 このフレームワークはマルチタスク学習におけるMOEとパラメータ効率の良い微調整のためのLoRAの両方の利点を活かすことを目的としている。 moeとloraを統合するために、訓練可能なパラメータとして複数の専門家を考案し、各専門家は、少数の訓練可能なパラメータを維持するために、一対の低ランク行列で構成される。 さらに,すべてのMOELoRAレイヤに対して,各専門家のコントリビューションを制御し,様々なタスクに対して異なるパラメータを生成するタスクモチベーションゲート関数を提案する。 提案手法の有効性と実用性を検証するため,公開マルチタスク中国医療データセットを用いた包括的実験を行った。 実験の結果, MOELoRAは既存のパラメータ効率の高い微調整法よりも優れていた。 この実装は、実験の簡便な再現のためにオンラインで利用可能である。

関連論文リスト

• MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
  マルチタスク学習能力を大幅に向上させながら、低ランク適応の利点を保ちながら、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別するタスク適応パラメータを追加することでLoRAを強化する。 このアプローチにより、汎用コーパス上で事前訓練された大規模言語モデル(LLM)が、限られた数のトレーニング可能なパラメータで異なるターゲットタスクドメインに適応できる。
  論文  参考訳（メタデータ） (2024-10-12T08:32:26Z)
• MoDE: Effective Multi-task Parameter Efficient Fine-Tuning with a Mixture of Dyadic Experts [6.245113492272563]
  Mixture of Dyadic Experts (MoDE) は効率的なマルチタスク適応のための新しい設計である。 我々の設計はよりきめ細かい混合を可能にし、それによってモデルの複数のタスクを共同で処理する能力を高めます。
  論文  参考訳（メタデータ） (2024-08-02T18:05:10Z)
• Med-MoE: Mixture of Domain-Specific Experts for Lightweight Medical Vision-Language Models [17.643421997037514]
  差別的, 生成的両マルチモーダル医療課題に対処する新しい枠組みを提案する。 Med-MoEの学習は、マルチモーダル医療アライメント、命令チューニングとルーティング、ドメイン固有のMoEチューニングの3つのステップで構成されている。 我々のモデルは最先端のベースラインに匹敵する性能を達成できる。
  論文  参考訳（メタデータ） (2024-04-16T02:35:17Z)
• MING-MOE: Enhancing Medical Multi-Task Learning in Large Language Models with Sparse Mixture of Low-Rank Adapter Experts [22.596827147978598]
  本稿では,MING-MOE(Mixture-of-Expert)をベースとした医療用大規模言語モデルを提案する。 タスク固有のアノテーションを必要とせずに、多種多様な複雑な医療タスクを管理するように設計されている。 20以上の医療タスクで最先端(SOTA)のパフォーマンスを達成し、既存のモデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-04-13T15:28:52Z)
• Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
  大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。 MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。 Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
  低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。 我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。 実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
  論文  参考訳（メタデータ） (2024-02-27T07:14:12Z)
• Multimodal Instruction Tuning with Conditional Mixture of LoRA [54.65520214291653]
  本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。 各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。 様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
  論文  参考訳（メタデータ） (2024-02-24T20:15:31Z)
• Attentional Mixtures of Soft Prompt Tuning for Parameter-efficient Multi-task Knowledge Sharing [53.399742232323895]
  ATTEMPTは、新しいモジュラー、マルチタスク、パラメータ効率の言語モデル(LM)チューニングアプローチである。 異なるタスク間で伝達される知識をソフトプロンプトの混合によって組み合わせ、元のLMをそのまま維持する。 パラメータ効率(例えば、微調整よりも1,600倍少ないパラメータを更新)であり、マルチタスク学習と柔軟な拡張を可能にする。
  論文  参考訳（メタデータ） (2022-05-24T10:48:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。