論文の概要: Lightweight Clinical Decision Support System using QLoRA-Fine-Tuned LLMs and Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2505.03406v1
- Date: Tue, 06 May 2025 10:31:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-07 18:50:11.334575
- Title: Lightweight Clinical Decision Support System using QLoRA-Fine-Tuned LLMs and Retrieval-Augmented Generation
- Title（参考訳）: QLoRA-Fine-Tuned LLMと検索生成を用いた軽量臨床診断支援システム
- Authors: Mohammad Shoaib Ansari, Mohd Sohail Ali Khan, Shubham Revankar, Aditya Varma, Anil S. Mokhade,
- Abstract要約: 本研究では,医療におけるLarge Language Models(LLM)の適用について検討する。
我々は、病院固有のデータと統合された検索型RAG(Retrieval-Augmented Generation)による医療意思決定支援と、量子化低ランク適応(QLoRA)を用いた微調整に焦点を当てる。
我々は、患者のプライバシ、データセキュリティ、厳格な臨床検証の必要性、およびそのようなシステムを現実の医療に組み込むための実践的な課題など、倫理的な配慮に目を向ける。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This research paper investigates the application of Large Language Models (LLMs) in healthcare, specifically focusing on enhancing medical decision support through Retrieval-Augmented Generation (RAG) integrated with hospital-specific data and fine-tuning using Quantized Low-Rank Adaptation (QLoRA). The system utilizes Llama 3.2-3B-Instruct as its foundation model. By embedding and retrieving context-relevant healthcare information, the system significantly improves response accuracy. QLoRA facilitates notable parameter efficiency and memory optimization, preserving the integrity of medical information through specialized quantization techniques. Our research also shows that our model performs relatively well on various medical benchmarks, indicating that it can be used to make basic medical suggestions. This paper details the system's technical components, including its architecture, quantization methods, and key healthcare applications such as enhanced disease prediction from patient symptoms and medical history, treatment suggestions, and efficient summarization of complex medical reports. We touch on the ethical considerations-patient privacy, data security, and the need for rigorous clinical validation-as well as the practical challenges of integrating such systems into real-world healthcare workflows. Furthermore, the lightweight quantized weights ensure scalability and ease of deployment even in low-resource hospital environments. Finally, the paper concludes with an analysis of the broader impact of LLMs on healthcare and outlines future directions for LLMs in medical settings.
- Abstract（参考訳）: 本研究では,医療分野におけるLarge Language Models (LLMs) の適用について検討し,特に病院固有のデータと統合されたRAG(Retrieval-Augmented Generation)による医療意思決定支援の強化と,QLoRA(Quantized Low-Rank Adaptation)を用いた微調整に着目した。
このシステムは、基礎モデルとしてLlama 3.2-3B-Instructを使用している。
コンテキスト関連医療情報の埋め込みと検索により、システムは応答精度を大幅に改善する。
QLoRAは重要なパラメータ効率とメモリ最適化を促進し、特殊な量子化技術によって医療情報の整合性を維持する。
本研究は,本モデルが様々な医療ベンチマークで比較的良好に動作することを示し,基礎的な医学的提案を行う上でも有効であることを示す。
本稿では,そのアーキテクチャ,量子化法,および患者の症状や医療史からの疾患予測の強化,治療提案,複雑な医療報告の効率的な要約など,システムの技術的構成要素について詳述する。
我々は、患者のプライバシ、データセキュリティ、厳格な臨床検証の必要性、およびそのようなシステムを現実の医療ワークフローに統合するという実践的な課題など、倫理的な配慮に目を向ける。
さらに、軽量な量子化重量は、低リソースの病院環境においても、スケーラビリティとデプロイメントの容易性を保証する。
最後に, LLM が医療に与える影響について分析し, 医療現場における LLM の今後の方向性について概説する。
関連論文リスト
- Medical Reasoning in the Era of LLMs: A Systematic Review of Enhancement Techniques and Applications [59.721265428780946]
医学における大きな言語モデル(LLM)は印象的な能力を実現しているが、体系的で透明で検証可能な推論を行う能力に重大なギャップが残っている。
本稿は、この新興分野に関する最初の体系的なレビューを提供する。
本稿では,学習時間戦略とテスト時間メカニズムに分類した推論強化手法の分類法を提案する。
論文 参考訳（メタデータ） (2025-08-01T14:41:31Z) - Infi-Med: Low-Resource Medical MLLMs with Robust Reasoning Evaluation [33.22110638954145]
医療用大規模言語モデル(MLLM)の包括的フレームワークであるInfi-Medを提案する。
Infi-Medは,(1)品質の高い教師付き微調整データセットを最小限のサンプル要求でキュレート・構築する資源効率の高いアプローチ,(2)クロスモーダル統合と臨床タスク理解のためのマルチモーダル推論能力の向上,(3)医療モダリティとタスクタイプをまたいだモデルパフォーマンスを評価する体系的評価システム,の3点を紹介した。
本実験は,Infi-Medが臨床シナリオへの迅速な適応性を維持しつつ,一般医学的推論におけるSOTA(State-of-the-art)のパフォーマンスを達成できることを実証するものである。
論文 参考訳（メタデータ） (2025-05-29T10:31:57Z) - Med-CoDE: Medical Critique based Disagreement Evaluation Framework [72.42301910238861]
医学的文脈における大きな言語モデル(LLM)の信頼性と精度は依然として重要な懸念点である。
現在の評価手法はロバスト性に欠けることが多く、LLMの性能を総合的に評価することができない。
我々は,これらの課題に対処するために,医療用LCMの特別設計評価フレームワークであるMed-CoDEを提案する。
論文 参考訳（メタデータ） (2025-04-21T16:51:11Z) - Performance of Large Language Models in Supporting Medical Diagnosis and Treatment [0.0]
AI駆動システムは、膨大なデータセットを分析し、臨床医が病気を特定し、治療を推奨し、患者の結果を予測するのを支援する。
本研究は,2024年のポルトガル国立試験場において,オープンソースモデルとクローズドソースモデルの両方を含む,現代LLMの性能評価を行った。
論文 参考訳（メタデータ） (2025-04-14T16:53:59Z) - Structured Outputs Enable General-Purpose LLMs to be Medical Experts [50.02627258858336]
大規模言語モデル(LLM)は、しばしばオープンエンドの医学的問題に苦しむ。
本稿では,構造化医療推論を利用した新しいアプローチを提案する。
我々の手法は85.8のファクチュアリティスコアを達成し、微調整されたモデルを上回る。
論文 参考訳（メタデータ） (2025-03-05T05:24:55Z) - Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。
医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。
実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
論文 参考訳（メタデータ） (2024-11-14T06:19:18Z) - Fine-Tuning LLMs for Reliable Medical Question-Answering Services [0.6103716315036845]
LLMを用いたQAサービスへの先進的なアプローチを提案する。
我々の研究はLLaMA-2やMistralのようなモデルの最適化に重点を置いており、正確で信頼性の高い医療回答を提供する上で大きな可能性を秘めている。
論文 参考訳（メタデータ） (2024-10-21T15:12:20Z) - Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval [61.70489848327436]
KAREは、知識グラフ(KG)コミュニティレベルの検索と大規模言語モデル(LLM)推論を統合する新しいフレームワークである。
MIMIC-IIIでは最大10.8～15.0%、MIMIC-IVでは12.6～12.7%である。
論文 参考訳（メタデータ） (2024-10-06T18:46:28Z) - Leveraging Medical Knowledge Graphs Into Large Language Models for Diagnosis Prediction: Design and Application Study [6.10474409373543]
自動診断におけるLarge Language Models (LLMs) の習熟度を高めるための革新的なアプローチを提案する。
我々は,国立医科大学統一医療言語システム(UMLS)からKGを抽出した。
我々のアプローチは説明可能な診断経路を提供し、AIによる診断決定支援システムの実現に近づいている。
論文 参考訳（メタデータ） (2023-08-28T06:05:18Z) - SPeC: A Soft Prompt-Based Calibration on Performance Variability of
Large Language Model in Clinical Notes Summarization [50.01382938451978]
本稿では,ソフトプロンプトを用いたモデルに依存しないパイプラインを導入し,確率に基づく要約の利点を保ちながら分散を減少させる。
実験結果から,本手法は性能を向上するだけでなく,様々な言語モデルの分散を効果的に抑制することが明らかとなった。
論文 参考訳（メタデータ） (2023-03-23T04:47:46Z) - Large Language Models for Biomedical Knowledge Graph Construction:
Information extraction from EMR notes [0.0]
大規模言語モデル(LLM)に基づくエンドツーエンド機械学習ソリューションを提案する。
KG構築プロセスで使用される物質は、疾患、因子、治療、および疾患を経験中に患者と共存する症状である。
提案手法の応用は加齢に伴う黄斑変性に対して実証される。
論文 参考訳（メタデータ） (2023-01-29T15:52:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。