論文の概要: MING-MOE: Enhancing Medical Multi-Task Learning in Large Language Models with Sparse Mixture of Low-Rank Adapter Experts

• arxiv url: http://arxiv.org/abs/2404.09027v1
• Date: Sat, 13 Apr 2024 15:28:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 17:34:10.184720
• Title: MING-MOE: Enhancing Medical Multi-Task Learning in Large Language Models with Sparse Mixture of Low-Rank Adapter Experts
• Title（参考訳）: MING-MOE:低ランクアダプタエキスパートの疎混合による大規模言語モデルにおける医用マルチタスク学習の強化
• Authors: Yusheng Liao, Shuyang Jiang, Yu Wang, Yanfeng Wang,
• Abstract要約: 本稿では,MING-MOE(Mixture-of-Expert)をベースとした医療用大規模言語モデルを提案する。 タスク固有のアノテーションを必要とせずに、多種多様な複雑な医療タスクを管理するように設計されている。 20以上の医療タスクで最先端(SOTA)のパフォーマンスを達成し、既存のモデルよりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 22.596827147978598
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models like ChatGPT have shown substantial progress in natural language understanding and generation, proving valuable across various disciplines, including the medical field. Despite advancements, challenges persist due to the complexity and diversity inherent in medical tasks which often require multi-task learning capabilities. Previous approaches, although beneficial, fall short in real-world applications because they necessitate task-specific annotations at inference time, limiting broader generalization. This paper introduces MING-MOE, a novel Mixture-of-Expert~(MOE)-based medical large language model designed to manage diverse and complex medical tasks without requiring task-specific annotations, thus enhancing its usability across extensive datasets. MING-MOE employs a Mixture of Low-Rank Adaptation (MoLoRA) technique, allowing for efficient parameter usage by maintaining base model parameters static while adapting through a minimal set of trainable parameters. We demonstrate that MING-MOE achieves state-of-the-art (SOTA) performance on over 20 medical tasks, illustrating a significant improvement over existing models. This approach not only extends the capabilities of medical language models but also improves inference efficiency.
• Abstract（参考訳）: ChatGPTのような大規模な言語モデルでは、自然言語の理解と生成が大幅に進歩しており、医学分野を含む様々な分野において価値のあるものとなっている。 進歩にもかかわらず、多タスク学習能力を必要とする医療タスクに固有の複雑さと多様性のため、課題は継続する。 従来のアプローチは有益ではあるが、推論時にタスク固有のアノテーションを必要とするため、現実世界のアプリケーションでは不足しており、より広範な一般化が制限されている。 本稿では,MING-MOEについて紹介する。MING-MOE(Mixture-of-Expert~(MOE)ベースの医療用大規模言語モデルで,タスク固有のアノテーションを必要とせず,多種多様かつ複雑な医療用タスクを管理する。 MING-MOEはMixture of Low-Rank Adaptation (MoLoRA)技術を用いており、最小限のトレーニング可能なパラメータセットを通じて適応しながらベースモデルパラメータを静的に保つことで、効率的なパラメータ使用を可能にする。 MING-MOEは20以上の医療タスクにおいて最先端(SOTA)のパフォーマンスを達成し,既存モデルに対する大幅な改善を図っている。 このアプローチは、医療言語モデルの能力を拡張するだけでなく、推論効率も向上する。

関連論文リスト

• M3H: Multimodal Multitask Machine Learning for Healthcare [7.4489490661717355]
  M3Hは、医療フレームワークのためのマルチモーダルマルチタスク機械学習(Multimodal Multitask Machine Learning for Healthcare)である。 多様なマルチモーダル入力からの学習を、幅広い医療タスクカテゴリと機械学習問題クラスに集約する。 M3Hは、標準の単一タスクモデルよりも優れたマルチタスクモデルを一貫して生成することを示す。
  論文  参考訳（メタデータ） (2024-04-29T14:39:15Z)
• Mixture-of-Instructions: Comprehensive Alignment of a Large Language Model through the Mixture of Diverse System Prompting Instructions [7.103987978402038]
  我々はMixture-of-Instructions (MoI)と呼ばれる新しいテクニックを紹介する。 MoIは、言語モデルのアライメント効率を高めるために、多様なシステムプロンプトと組み合わせた命令結合戦略を採用している。 提案手法はオープンソースQwen-7B-chatモデルに適用され,Qwen-SFT-MoIの開発が完了した。
  論文  参考訳（メタデータ） (2024-04-29T03:58:12Z)
• Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
  大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。 MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。 Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• Meta-Task Prompting Elicits Embedding from Large Language Models [57.50329659098592]
  本稿では,新しい教師なし埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを提案する。 モデル微調整やタスク固有のエンジニアリングを必要とせずに、大規模言語モデルから高品質な文の埋め込みを生成する。 実験により, 各種メタタスクから平均化された埋め込みは, セマンティックテキスト類似度ベンチマーク上での競合性能を示すことを示した。 本研究は, 埋込抽出のための多用途, 資源効率のよい手法を提供する, 埋込生成のための新しいスケーリング法則を示唆する。
  論文  参考訳（メタデータ） (2024-02-28T16:35:52Z)
• MOELoRA: An MOE-based Parameter Efficient Fine-Tuning Method for Multi-task Medical Applications [60.218266928939606]
  我々はMOELoRAと呼ばれるマルチタスク医療応用のためのパラメータ効率の良いファインチューニングフレームワークを提案する。 MOEとLoRAを統一するために、私たちは複数の専門家をトレーニング可能なパラメータとして考えました。 実験の結果, MOELoRAは既存のパラメータ効率の高い微調整法よりも優れていた。
  論文  参考訳（メタデータ） (2023-10-21T17:18:09Z)
• MedMine: Examining Pre-trained Language Models on Medication Mining [7.479160954840647]
  このような課題に対して,現在最先端のプレトレーニング言語モデル (PLM) について検討する。 我々は,n2c2-2018課題の共有タスクデータセットを用いて,それらの利点と欠点を比較した。
  論文  参考訳（メタデータ） (2023-08-07T14:36:03Z)
• Towards Medical Artificial General Intelligence via Knowledge-Enhanced Multimodal Pretraining [121.89793208683625]
  医療人工知能(MAGI)は、1つの基礎モデルで異なる医療課題を解くことができる。 我々は、Micical-knedge-enhanced mulTimOdal pretRaining (motoR)と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-26T01:26:19Z)
• Gradient Vaccine: Investigating and Improving Multi-task Optimization in Massively Multilingual Models [63.92643612630657]
  本稿では、損失関数幾何学のレンズを通して多言語最適化のブラックボックスを覗き込もうとする。 最適化軌道に沿って測定された勾配類似性は重要な信号であり、言語近接とよく相関している。 そこで我々はGradient Vaccineというシンプルでスケーラブルな最適化手法を考案した。
  論文  参考訳（メタデータ） (2020-10-12T17:26:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。