論文の概要: Lightweight Clinical Decision Support System using QLoRA-Fine-Tuned LLMs and Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2505.03406v1
• Date: Tue, 06 May 2025 10:31:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 18:50:11.334575
• Title: Lightweight Clinical Decision Support System using QLoRA-Fine-Tuned LLMs and Retrieval-Augmented Generation
• Title（参考訳）: QLoRA-Fine-Tuned LLMと検索生成を用いた軽量臨床診断支援システム
• Authors: Mohammad Shoaib Ansari, Mohd Sohail Ali Khan, Shubham Revankar, Aditya Varma, Anil S. Mokhade,
• Abstract要約: 本研究では,医療におけるLarge Language Models(LLM)の適用について検討する。 我々は、病院固有のデータと統合された検索型RAG(Retrieval-Augmented Generation)による医療意思決定支援と、量子化低ランク適応(QLoRA)を用いた微調整に焦点を当てる。 我々は、患者のプライバシ、データセキュリティ、厳格な臨床検証の必要性、およびそのようなシステムを現実の医療に組み込むための実践的な課題など、倫理的な配慮に目を向ける。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This research paper investigates the application of Large Language Models (LLMs) in healthcare, specifically focusing on enhancing medical decision support through Retrieval-Augmented Generation (RAG) integrated with hospital-specific data and fine-tuning using Quantized Low-Rank Adaptation (QLoRA). The system utilizes Llama 3.2-3B-Instruct as its foundation model. By embedding and retrieving context-relevant healthcare information, the system significantly improves response accuracy. QLoRA facilitates notable parameter efficiency and memory optimization, preserving the integrity of medical information through specialized quantization techniques. Our research also shows that our model performs relatively well on various medical benchmarks, indicating that it can be used to make basic medical suggestions. This paper details the system's technical components, including its architecture, quantization methods, and key healthcare applications such as enhanced disease prediction from patient symptoms and medical history, treatment suggestions, and efficient summarization of complex medical reports. We touch on the ethical considerations-patient privacy, data security, and the need for rigorous clinical validation-as well as the practical challenges of integrating such systems into real-world healthcare workflows. Furthermore, the lightweight quantized weights ensure scalability and ease of deployment even in low-resource hospital environments. Finally, the paper concludes with an analysis of the broader impact of LLMs on healthcare and outlines future directions for LLMs in medical settings.
• Abstract（参考訳）: 本研究では,医療分野におけるLarge Language Models (LLMs) の適用について検討し,特に病院固有のデータと統合されたRAG(Retrieval-Augmented Generation)による医療意思決定支援の強化と,QLoRA(Quantized Low-Rank Adaptation)を用いた微調整に着目した。 このシステムは、基礎モデルとしてLlama 3.2-3B-Instructを使用している。 コンテキスト関連医療情報の埋め込みと検索により、システムは応答精度を大幅に改善する。 QLoRAは重要なパラメータ効率とメモリ最適化を促進し、特殊な量子化技術によって医療情報の整合性を維持する。 本研究は,本モデルが様々な医療ベンチマークで比較的良好に動作することを示し,基礎的な医学的提案を行う上でも有効であることを示す。 本稿では,そのアーキテクチャ,量子化法,および患者の症状や医療史からの疾患予測の強化,治療提案,複雑な医療報告の効率的な要約など,システムの技術的構成要素について詳述する。 我々は、患者のプライバシ、データセキュリティ、厳格な臨床検証の必要性、およびそのようなシステムを現実の医療ワークフローに統合するという実践的な課題など、倫理的な配慮に目を向ける。 さらに、軽量な量子化重量は、低リソースの病院環境においても、スケーラビリティとデプロイメントの容易性を保証する。 最後に, LLM が医療に与える影響について分析し, 医療現場における LLM の今後の方向性について概説する。

関連論文リスト

• Med-CoDE: Medical Critique based Disagreement Evaluation Framework [72.42301910238861]
  医学的文脈における大きな言語モデル(LLM)の信頼性と精度は依然として重要な懸念点である。 現在の評価手法はロバスト性に欠けることが多く、LLMの性能を総合的に評価することができない。 我々は,これらの課題に対処するために,医療用LCMの特別設計評価フレームワークであるMed-CoDEを提案する。
  論文  参考訳（メタデータ） (2025-04-21T16:51:11Z)
• Performance of Large Language Models in Supporting Medical Diagnosis and Treatment [0.0]
  AI駆動システムは、膨大なデータセットを分析し、臨床医が病気を特定し、治療を推奨し、患者の結果を予測するのを支援する。 本研究は,2024年のポルトガル国立試験場において,オープンソースモデルとクローズドソースモデルの両方を含む,現代LLMの性能評価を行った。
  論文  参考訳（メタデータ） (2025-04-14T16:53:59Z)
• Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。 医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。 実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
  論文  参考訳（メタデータ） (2024-11-14T06:19:18Z)
• Fine-Tuning LLMs for Reliable Medical Question-Answering Services [0.6103716315036845]
  LLMを用いたQAサービスへの先進的なアプローチを提案する。 我々の研究はLLaMA-2やMistralのようなモデルの最適化に重点を置いており、正確で信頼性の高い医療回答を提供する上で大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2024-10-21T15:12:20Z)
• Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval [61.70489848327436]
  KAREは、知識グラフ(KG)コミュニティレベルの検索と大規模言語モデル(LLM)推論を統合する新しいフレームワークである。 MIMIC-IIIでは最大10.8～15.0%、MIMIC-IVでは12.6～12.7%である。
  論文  参考訳（メタデータ） (2024-10-06T18:46:28Z)
• Leveraging Medical Knowledge Graphs Into Large Language Models for Diagnosis Prediction: Design and Application Study [6.10474409373543]
  自動診断におけるLarge Language Models (LLMs) の習熟度を高めるための革新的なアプローチを提案する。 我々は,国立医科大学統一医療言語システム(UMLS)からKGを抽出した。 我々のアプローチは説明可能な診断経路を提供し、AIによる診断決定支援システムの実現に近づいている。
  論文  参考訳（メタデータ） (2023-08-28T06:05:18Z)
• SPeC: A Soft Prompt-Based Calibration on Performance Variability of Large Language Model in Clinical Notes Summarization [50.01382938451978]
  本稿では,ソフトプロンプトを用いたモデルに依存しないパイプラインを導入し,確率に基づく要約の利点を保ちながら分散を減少させる。 実験結果から,本手法は性能を向上するだけでなく,様々な言語モデルの分散を効果的に抑制することが明らかとなった。
  論文  参考訳（メタデータ） (2023-03-23T04:47:46Z)
• Large Language Models for Biomedical Knowledge Graph Construction: Information extraction from EMR notes [0.0]
  大規模言語モデル(LLM)に基づくエンドツーエンド機械学習ソリューションを提案する。 KG構築プロセスで使用される物質は、疾患、因子、治療、および疾患を経験中に患者と共存する症状である。 提案手法の応用は加齢に伴う黄斑変性に対して実証される。
  論文  参考訳（メタデータ） (2023-01-29T15:52:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。