論文の概要: MoE-TinyMed: Mixture of Experts for Tiny Medical Large Vision-Language Models
- arxiv url: http://arxiv.org/abs/2404.10237v1
- Date: Tue, 16 Apr 2024 02:35:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 18:12:17.445019
- Title: MoE-TinyMed: Mixture of Experts for Tiny Medical Large Vision-Language Models
- Title(参考訳): MoE-TinyMed:医療用大型視線モデルの専門家の混在
- Authors: Songtao Jiang, Tuo Zheng, Yan Zhang, Yeying Jin, Zuozhu Liu,
- Abstract要約: MoE-TinyMedは、パラメータ要求を大幅に低減する医療応用に適したモデルである。
VQA-RAD、SLAKE、Path-VQAデータセットの評価において、MoE-TinyMedはわずか3.6BパラメータですべてのMed-VQAクローズドセッティングでLLaVA-Medを上回った。
- 参考スコア(独自算出の注目度): 11.00897997355531
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixture of Expert Tuning (MoE-Tuning) has effectively enhanced the performance of general MLLMs with fewer parameters, yet its application in resource-limited medical settings has not been fully explored. To address this gap, we developed MoE-TinyMed, a model tailored for medical applications that significantly lowers parameter demands. In evaluations on the VQA-RAD, SLAKE, and Path-VQA datasets, MoE-TinyMed outperformed LLaVA-Med in all Med-VQA closed settings with just 3.6B parameters. Additionally, a streamlined version with 2B parameters surpassed LLaVA-Med's performance in PathVQA, showcasing its effectiveness in resource-limited healthcare settings.
- Abstract(参考訳): また,Mixture of Expert Tuning (MoE-Tuning) は,パラメータが少ない一般MLLMの性能を効果的に向上させた。
このギャップに対処するため,パラメータ要求を大幅に低減する医療応用に適したモデルであるMoE-TinyMedを開発した。
VQA-RAD、SLAKE、Path-VQAデータセットの評価において、MoE-TinyMedはわずか3.6BパラメータですべてのMed-VQAクローズドセッティングでLLaVA-Medを上回った。
さらに、2Bパラメータを持つ合理化バージョンは、PathVQAにおけるLLaVA-Medのパフォーマンスを上回り、リソース制限された医療設定におけるその効果を示している。
関連論文リスト
- Efficiency in Focus: LayerNorm as a Catalyst for Fine-tuning Medical Visual Language Pre-trained Models [16.590570116024157]
微調整の内在的モデル成分は、しばしばより一般化と一貫性をもたらす。
本稿では,Med-VLMの微細調整層,FFN,アテンション層が与える影響について検討する。
この結果から,本質的な微調整法が下流作業に対する微調整型Med-VLMに与える影響について,特異な知見が得られた。
論文 参考訳(メタデータ) (2024-04-25T07:51:26Z) - Med42 -- Evaluating Fine-Tuning Strategies for Medical LLMs: Full-Parameter vs. Parameter-Efficient Approaches [7.3384872719063114]
我々は,Llama-2アーキテクチャに基づく医療用大規模言語モデル(LLM)を開発し,改良した。
本実験は,様々な医用ベンチマークを用いて,これらのチューニング戦略の有効性を体系的に評価した。
論文 参考訳(メタデータ) (2024-04-23T06:36:21Z) - OpenMedLM: Prompt engineering can out-perform fine-tuning in medical
question-answering with open-source large language models [4.556924372105915]
オープンソース(OS)モデルは、医療用LDMにとって重要な成長領域である。
医用ベンチマークでOS LLMに対してSOTA(State-of-the-art)パフォーマンスを提供するプロンプトプラットフォームであるOpenMedLMを提案する。
論文 参考訳(メタデータ) (2024-02-29T17:19:39Z) - OmniMedVQA: A New Large-Scale Comprehensive Evaluation Benchmark for Medical LVLM [48.16696073640864]
我々は,新しい包括的ビジュアル質問回答(VQA)ベンチマークであるOmniMedVQAを紹介する。
このベンチマークのすべての画像は、本物の医療シナリオから得られたものです。
既存のLVLMはこれらの医療用VQA問題に効果的に取り組むのに苦労していることがわかった。
論文 参考訳(メタデータ) (2024-02-14T13:51:56Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - MEDITRON-70B: Scaling Medical Pretraining for Large Language Models [91.25119823784705]
大きな言語モデル(LLM)は、医療知識へのアクセスを民主化することができる。
医療領域に適応した7Bおよび70BパラメータのオープンソースLLMスイートであるMEDITRONをリリースする。
論文 参考訳(メタデータ) (2023-11-27T18:49:43Z) - PEFT-MedAware: Large Language Model for Medical Awareness [0.0]
我々は,特殊なMedQuADデータに基づいて,Falcon-1bの大規模言語モデルを強化するためのPEFT-MedAwareモデルを提案する。
このモデルは、特定の領域における医学的質問応答タスクにおいて、他のLSMよりも優れていた。
我々は、拡張データセット、より大きなモデル、持続医療関連性のためのフィードバックメカニズムによるさらなる改善を提案する。
論文 参考訳(メタデータ) (2023-11-17T18:32:17Z) - MOELoRA: An MOE-based Parameter Efficient Fine-Tuning Method for
Multi-task Medical Applications [60.218266928939606]
我々はMOELoRAと呼ばれるマルチタスク医療応用のためのパラメータ効率の良いファインチューニングフレームワークを提案する。
MOEとLoRAを統一するために、私たちは複数の専門家をトレーニング可能なパラメータとして考えました。
実験の結果, MOELoRAは既存のパラメータ効率の高い微調整法よりも優れていた。
論文 参考訳(メタデータ) (2023-10-21T17:18:09Z) - MixPHM: Redundancy-Aware Parameter-Efficient Tuning for Low-Resource
Visual Question Answering [66.05768870785548]
微調整事前学習型視覚言語モデル(VLM)は、視覚質問応答(VQA)における最先端性能を達成するための一般的なパラダイムである。
現在のパラメータ効率のチューニング手法は、チューニング可能なパラメータの数を劇的に削減するが、完全な微調整を伴う大きなパフォーマンスギャップは依然として残っている。
低リソースVQAにおける完全微調整よりも優れた冗長性を考慮したパラメータ効率調整法であるMixPHMを提案する。
論文 参考訳(メタデータ) (2023-03-02T13:28:50Z) - MedSegDiff-V2: Diffusion based Medical Image Segmentation with
Transformer [53.575573940055335]
我々は、MedSegDiff-V2と呼ばれるトランスフォーマーベースの拡散フレームワークを提案する。
画像の異なる20種類の画像分割作業において,その有効性を検証する。
論文 参考訳(メタデータ) (2023-01-19T03:42:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。