論文の概要: MOELoRA: An MOE-based Parameter Efficient Fine-Tuning Method for
Multi-task Medical Applications
- arxiv url: http://arxiv.org/abs/2310.18339v1
- Date: Sat, 21 Oct 2023 17:18:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-05 13:52:01.890785
- Title: MOELoRA: An MOE-based Parameter Efficient Fine-Tuning Method for
Multi-task Medical Applications
- Title(参考訳): MOELoRA:マルチタスク医療応用のためのMOE-based Parameter Efficient Fine-Tuning Method
- Authors: Qidong Liu, Xian Wu, Xiangyu Zhao, Yuanshao Zhu, Derong Xu, Feng Tian,
Yefeng Zheng
- Abstract要約: 我々はMOELoRAと呼ばれるマルチタスク医療応用のためのパラメータ効率の良いファインチューニングフレームワークを提案する。
MOEとLoRAを統一するために、私たちは複数の専門家をトレーニング可能なパラメータとして考えました。
実験の結果, MOELoRAは既存のパラメータ効率の高い微調整法よりも優れていた。
- 参考スコア(独自算出の注目度): 60.218266928939606
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent surge in the field of Large Language Models (LLMs) has gained
significant attention in numerous domains. In order to tailor an LLM to a
specific domain such as a web-based healthcare system, fine-tuning with domain
knowledge is necessary. However, two issues arise during fine-tuning LLMs for
medical applications. The first is the problem of task variety, where there are
numerous distinct tasks in real-world medical scenarios. This diversity often
results in suboptimal fine-tuning due to data imbalance and seesawing problems.
Additionally, the high cost of fine-tuning can be prohibitive, impeding the
application of LLMs. The large number of parameters in LLMs results in enormous
time and computational consumption during fine-tuning, which is difficult to
justify. To address these two issues simultaneously, we propose a novel
parameter-efficient fine-tuning framework for multi-task medical applications
called MOELoRA. The framework aims to capitalize on the benefits of both MOE
for multi-task learning and LoRA for parameter-efficient fine-tuning. To unify
MOE and LoRA, we devise multiple experts as the trainable parameters, where
each expert consists of a pair of low-rank matrices to maintain a small number
of trainable parameters. Additionally, we propose a task-motivated gate
function for all MOELoRA layers that can regulate the contributions of each
expert and generate distinct parameters for various tasks. To validate the
effectiveness and practicality of the proposed method, we conducted
comprehensive experiments on a public multi-task Chinese medical dataset. The
experimental results demonstrate that MOELoRA outperforms existing
parameter-efficient fine-tuning methods. The implementation is available online
for convenient reproduction of our experiments.
- Abstract(参考訳): 近年の大規模言語モデル(llm)の分野の急増は、多くの領域で大きな注目を集めている。
LLMをWebベースの医療システムのような特定のドメインに調整するには、ドメイン知識による微調整が必要である。
しかし、医療応用のための微調整LDM中に2つの問題が発生する。
ひとつはタスクの多様性の問題であり、現実世界の医療シナリオには多くの異なるタスクがある。
この多様性は、データ不均衡とシーソー問題により、しばしば最適以下の微調整をもたらす。
加えて、高コストの微調整は禁止され、LLMの適用を妨げる。
LLMの大量のパラメータは、微調整中に膨大な時間と計算消費をもたらすが、正当化は困難である。
これら2つの課題を同時に解決するために,MOELoRAと呼ばれるマルチタスク医療応用のためのパラメータ効率の高い微調整フレームワークを提案する。
このフレームワークはマルチタスク学習におけるMOEとパラメータ効率の良い微調整のためのLoRAの両方の利点を活かすことを目的としている。
moeとloraを統合するために、訓練可能なパラメータとして複数の専門家を考案し、各専門家は、少数の訓練可能なパラメータを維持するために、一対の低ランク行列で構成される。
さらに,すべてのMOELoRAレイヤに対して,各専門家のコントリビューションを制御し,様々なタスクに対して異なるパラメータを生成するタスクモチベーションゲート関数を提案する。
提案手法の有効性と実用性を検証するため,公開マルチタスク中国医療データセットを用いた包括的実験を行った。
実験の結果, MOELoRAは既存のパラメータ効率の高い微調整法よりも優れていた。
この実装は、実験の簡便な再現のためにオンラインで利用可能である。
関連論文リスト
- MING-MOE: Enhancing Medical Multi-Task Learning in Large Language Models with Sparse Mixture of Low-Rank Adapter Experts [22.596827147978598]
本稿では,MING-MOE(Mixture-of-Expert)をベースとした医療用大規模言語モデルを提案する。
タスク固有のアノテーションを必要とせずに、多種多様な複雑な医療タスクを管理するように設計されている。
20以上の医療タスクで最先端(SOTA)のパフォーマンスを達成し、既存のモデルよりも大幅に改善されている。
論文 参考訳(メタデータ) (2024-04-13T15:28:52Z) - Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。
MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。
Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
論文 参考訳(メタデータ) (2024-04-13T12:14:58Z) - MTLoRA: A Low-Rank Adaptation Approach for Efficient Multi-Task Learning [1.4396109429521227]
大規模データセットに事前トレーニングされたモデルを、さまざまな下流タスクに適応させることは、ディープラーニングにおける一般的な戦略である。
パラメータ効率のよい微調整手法は、最小限のパラメータだけを訓練しながら、事前訓練されたモデルを異なるタスクに適応させる有望な方法として登場した。
本稿では,マルチタスク学習モデルのパラメータ効率向上のための新しいフレームワークMTLoRAを紹介する。
論文 参考訳(メタデータ) (2024-03-29T17:43:58Z) - Enhancing the General Agent Capabilities of Low-Parameter LLMs through Tuning and Multi-Branch Reasoning [56.82041895921434]
オープンソースの事前訓練された大規模言語モデル(LLM)は、強力な言語理解と生成能力を示す。
現実世界の複雑な問題に対処するエージェントとして使用される場合、ChatGPTやGPT-4のような大型の商用モデルに比べてパフォーマンスははるかに劣る。
論文 参考訳(メタデータ) (2024-03-29T03:48:12Z) - Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [74.58403497789422]
低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。
我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。
実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
論文 参考訳(メタデータ) (2024-02-27T07:14:12Z) - Multimodal Instruction Tuning with Conditional Mixture of LoRA [54.65520214291653]
本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。
各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。
様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
論文 参考訳(メタデータ) (2024-02-24T20:15:31Z) - MoELoRA: Contrastive Learning Guided Mixture of Experts on
Parameter-Efficient Fine-Tuning for Large Language Models [24.17147521556083]
本稿では,新しいPEFT手法であるMoELoRAを紹介する。
数学推論と常識推論のベンチマークにおいて,11のタスクについて実験を行った。
MoELoRAはLoRAよりも4.2%高い平均性能を達成し、いくつかのベンチマークで175B GPT-3.5と比較して競争性能を示した。
論文 参考訳(メタデータ) (2024-02-20T09:30:48Z) - A Framework to Implement 1+N Multi-task Fine-tuning Pattern in LLMs
Using the CGC-LORA Algorithm [7.521690071464451]
大規模言語モデル (LLM) において, 1 + N mutli-task の微調整パターンを実装する統一フレームワークを提案する。
我々の研究は、MPL(CGC)とPEFT(LoRA)の両方の利点を享受することを目的としている。
論文 参考訳(メタデータ) (2024-01-22T07:58:31Z) - Attentional Mixtures of Soft Prompt Tuning for Parameter-efficient
Multi-task Knowledge Sharing [53.399742232323895]
ATTEMPTは、新しいモジュラー、マルチタスク、パラメータ効率の言語モデル(LM)チューニングアプローチである。
異なるタスク間で伝達される知識をソフトプロンプトの混合によって組み合わせ、元のLMをそのまま維持する。
パラメータ効率(例えば、微調整よりも1,600倍少ないパラメータを更新)であり、マルチタスク学習と柔軟な拡張を可能にする。
論文 参考訳(メタデータ) (2022-05-24T10:48:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。