論文の概要: Democratizing MLLMs in Healthcare: TinyLLaVA-Med for Efficient Healthcare Diagnostics in Resource-Constrained Settings

• arxiv url: http://arxiv.org/abs/2409.12184v1
• Date: Mon, 2 Sep 2024 21:14:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-22 21:12:27.950288
• Title: Democratizing MLLMs in Healthcare: TinyLLaVA-Med for Efficient Healthcare Diagnostics in Resource-Constrained Settings
• Title（参考訳）: 医療におけるMLLMの民主化:資源制約環境における効果的な医療診断のためのTinyLLaVA-Med
• Authors: Aya El Mir, Lukelo Thadei Luoga, Boyuan Chen, Muhammad Abdullah Hanif, Muhammad Shafique,
• Abstract要約: 汎用MLLMであるTinyLLaVAの最適化手法を導入し,TinyLLaVA-Medと命名した。 この適応には、LLaVA-Medトレーニングパイプラインからインスピレーションを得て、医療データセット上での命令チューニングと微調整のTinyLLaVAが含まれる。 提案手法は計算複雑性と消費電力を最小化し,TinyLLaVA-Medは18.9W,メモリは11.9GBであり,VQA-RADは64.54%,SLAKEは70.70%であった。
• 参考スコア（独自算出の注目度）: 7.227964619923918
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deploying Multi-Modal Large Language Models (MLLMs) in healthcare is hindered by their high computational demands and significant memory requirements, which are particularly challenging for resource-constrained devices like the Nvidia Jetson Xavier. This problem is particularly evident in remote medical settings where advanced diagnostics are needed but resources are limited. In this paper, we introduce an optimization method for the general-purpose MLLM, TinyLLaVA, which we have adapted and renamed TinyLLaVA-Med. This adaptation involves instruction-tuning and fine-tuning TinyLLaVA on a medical dataset by drawing inspiration from the LLaVA-Med training pipeline. Our approach successfully minimizes computational complexity and power consumption, with TinyLLaVA-Med operating at 18.9W and using 11.9GB of memory, while achieving accuracies of 64.54% on VQA-RAD and 70.70% on SLAKE for closed-ended questions. Therefore, TinyLLaVA-Med achieves deployment viability in hardware-constrained environments with low computational resources, maintaining essential functionalities and delivering accuracies close to state-of-the-art models.
• Abstract（参考訳）: 医療にMLLM(Multi-Modal Large Language Model)を配置することは、その高い計算要求と重要なメモリ要求によって妨げられ、Nvidia Jetson Xavierのようなリソース制約のあるデバイスでは特に困難である。 この問題は、高度な診断を必要とするがリソースが限られている遠隔医療環境では特に顕著である。 本稿では,汎用MLLMであるTinyLLaVAの最適化手法を提案する。 この適応には、LLaVA-Medトレーニングパイプラインからインスピレーションを得て、医療データセット上での命令チューニングと微調整のTinyLLaVAが含まれる。 提案手法は計算複雑性と消費電力の最小化に成功し,TinyLLaVA-Medは18.9W,メモリは1.9GB,VQA-RADは64.54%,SLAKEは70.70%であった。 そのため、TinyLLaVA-Medは、計算資源の少ないハードウェア制約環境において、本質的な機能を維持し、最先端モデルに近い精度を提供する。

関連論文リスト

• DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
  実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。 活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。 DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
  論文  参考訳（メタデータ） (2024-11-04T18:26:08Z)
• Mini-InternVL: A Flexible-Transfer Pocket Multimodal Model with 5% Parameters and 90% Performance [78.48606021719206]
  Mini-InternVL は 1B から 4B までのパラメータを持つ一連の MLLM であり、パラメータの 5% しか持たない性能の90% を達成している。 我々は,ダウンストリームタスクにおける特化モデルの転送と性能向上を可能にする,Mini-InternVLの統一適応フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-10-21T17:58:20Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• MedAide: Leveraging Large Language Models for On-Premise Medical Assistance on Edge Devices [7.042194397224198]
  大規模言語モデル(LLM)は、その顕著な自然言語処理(NLP)能力によって、様々な領域に革命をもたらしている。 しかし,資源制約のあるエッジコンピューティングや組み込みシステムにLLMをデプロイすることは,大きな課題となる。 これらの課題には、限られた医療施設とインフラを備えた遠隔地での医療支援の提供が含まれる。
  論文  参考訳（メタデータ） (2024-02-28T08:30:49Z)
• MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
  近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。 本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:03Z)
• Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• PEFT-MedAware: Large Language Model for Medical Awareness [0.0]
  我々は,特殊なMedQuADデータに基づいて,Falcon-1bの大規模言語モデルを強化するためのPEFT-MedAwareモデルを提案する。 このモデルは、特定の領域における医学的質問応答タスクにおいて、他のLSMよりも優れていた。 我々は、拡張データセット、より大きなモデル、持続医療関連性のためのフィードバックメカニズムによるさらなる改善を提案する。
  論文  参考訳（メタデータ） (2023-11-17T18:32:17Z)
• A TinyML Platform for On-Device Continual Learning with Quantized Latent Replays [66.62377866022221]
  Latent Replay-based Continual Learning (CL)技術は、原則としてオンライン、サーバレスの適応を可能にする。 10コアのFP32対応並列超低消費電力プロセッサをベースとした,エンドツーエンドCLのためのHW/SWプラットフォームを提案する。 これらの手法を組み合わせることで,64MB未満のメモリを用いて連続学習を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-10-20T11:01:23Z)
• Gait Recovery System for Parkinson's Disease using Machine Learning on Embedded Platforms [0.052498055901649014]
  パーキンソン病(PD)の診断における歩行凍結(FoG)は共通の歩行障害である 著者らは加速度センサ信号から機械学習サブシステムを用いてFOGイベントを検出するユビキタス組み込みシステムを提案する。
  論文  参考訳（メタデータ） (2020-04-13T08:03:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。