論文の概要: Fine-Tuned Small Language Model for Synthetic Clinical Data Generation and Predictive Healthcare Analytics
- arxiv url: http://arxiv.org/abs/2611.16460v1
- Date: Thu, 12 Nov 2026 08:12:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.397157
- Title: Fine-Tuned Small Language Model for Synthetic Clinical Data Generation and Predictive Healthcare Analytics
- Title(参考訳): 臨床データ生成と予測型医療分析のための微調整小言語モデル
- Abstract要約: 微調整されたMicrosoft Phi-2モデルに基づく臨床データ拡張手法を提案する。
細調整されたSLMは医療領域の性能を改善し、語彙評価(ROUGE)と意味評価(BERTScore)の両方で高いスコアを得た。
データ拡張に使用すると、生成されたデータセットはLSTM予測モデルの性能を改善し、分類精度は89.0%から93.7%に向上した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The reduced availability of medical datasets represents an important challenge in the development of predictive models for remote healthcare solutions, especially when the available data are imbalanced or difficult to extend through traditional methods. Small Language Models (SLMs) have become a promising alternative to Large Language Models (LLMs) for addressing these limitations due to their lower computational requirements and adaptability to specialized tasks. However, their performance remains highly dependent on the quality and representativeness of the available training data. In this paper, we propose a method for clinical data augmentation based on a fine-tuned Microsoft Phi-2 model that is used to generate synthetic instances, with the purpose of improving deep learning-based model for predicting remotely monitored vital signs. The Phi-2 model was adapted to the medical domain through supervised fine-tuning on the MedQuad dataset, through a Quantized Low-Rank Adaptation (QLoRA)-based method and by applying few-shot prompting techniques. The resulting model was used afterwards in the augmentation of a small-sized dataset, composed of vital sign values and labels associated with pathological and physiological states. The experimental results demonstrate that fine-tuned SLMs improved the performance on medical domain, achieving higher scores for both lexical (ROUGE) and semantic (BERTScore) evaluation metrics compared to the pretrained model. Moreover, the fine-tuned SLM is effective for generating structured synthetic clinical data. When used for data augmentation, the generated dataset improved the performance of a LSTM predictive model, increasing the classification accuracy from 89.0% to 93.7% and showing consistent improvements in precision, recall, and F1-score.
- Abstract(参考訳): 医療データセットの可用性の低下は、遠隔医療ソリューションの予測モデルの開発において重要な課題である。
小型言語モデル (SLM) は、計算要求の低さと特殊タスクへの適応性のために、これらの制限に対処するために、Large Language Models (LLM) に代わる有望な選択肢となっている。
しかし、それらのパフォーマンスは、利用可能なトレーニングデータの質と代表性に大きく依存している。
本稿では,遠隔監視型バイタルサイン予測のための深層学習モデルの改善を目的とした,Microsoft Phi-2モデルに基づく臨床データ拡張手法を提案する。
Phi-2モデルは、MedQuadデータセットの教師付き微調整、Quantized Low-Rank Adaptation (QLoRA)ベースの手法、および数ショットプロンプト技術の適用により、医療領域に適応した。
結果として得られたモデルは、その後、病理学的および生理的状態に関連する重要な記号値とラベルからなる小さなデータセットの増大に使用された。
実験の結果, 微調整SLMは医療領域の性能を向上し, プレトレーニングモデルと比較して, 語彙評価(ROUGE)と意味評価(BERTScore)の両方で高いスコアを得ることができた。
さらに、微細調整されたSLMは、構造化された合成臨床データを生成するのに有効である。
データ拡張に使用すると、生成されたデータセットはLSTM予測モデルの性能を改善し、分類精度は89.0%から93.7%に向上し、精度、リコール、F1スコアが一貫して改善された。
関連論文リスト
- A Federated and Parameter-Efficient Framework for Large Language Model Training in Medicine [59.78991974851707]
大規模言語モデル(LLM)は、質問応答や診断など、医療ベンチマークにおいて強力なパフォーマンスを示している。
ほとんどの医療用LDMは、異種システムの一般化性と安全性の制限に直面している単一の機関のデータに基づいて訓練されている。
本稿では, LLMを医療応用に適用するためのモデルに依存しない, パラメータ効率のよいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-01-29T18:48:21Z) - From Generative Modeling to Clinical Classification: A GPT-Based Architecture for EHR Notes [0.0]
本研究は臨床テキスト分類のためのGPTアーキテクチャを提案する。
すべてのモデルパラメータを更新する代わりに、GPT-2のバックボーンの大部分は凍結されている。
提案手法はMIMIC-IV-Noteデータセットからの放射線学報告に基づいて評価する。
論文 参考訳(メタデータ) (2026-01-29T16:33:47Z) - Investigating the Impact of Histopathological Foundation Models on Regressive Prediction of Homologous Recombination Deficiency [52.50039435394964]
回帰に基づくタスクの基礎モデルを体系的に評価する。
我々は5つの最先端基礎モデルを用いて、スライド画像全体(WSI)からパッチレベルの特徴を抽出する。
乳房、子宮内膜、肺がんコホートにまたがるこれらの抽出された特徴に基づいて、連続したRDDスコアを予測するモデルが訓練されている。
論文 参考訳(メタデータ) (2026-01-29T14:06:50Z) - Development and Comparative Analysis of Machine Learning Models for Hypoxemia Severity Triage in CBRNE Emergency Scenarios Using Physiological and Demographic Data from Medical-Grade Devices [0.0]
グラディエントブースティングモデル(GBM)は、トレーニング速度、解釈可能性、信頼性の点で、シーケンシャルモデルを上回った。
タイムリーな介入のために5分間の予測ウィンドウが選択された。
本研究は、トリアージを改善し、アラーム疲労を軽減するMLの可能性を強調した。
論文 参考訳(メタデータ) (2024-10-30T23:24:28Z) - ClinicRealm: Re-evaluating Large Language Models with Conventional Machine Learning for Non-Generative Clinical Prediction Tasks [37.544994716002016]
LLM(Large Language Models)は、医学においてますます普及している。
しかし, 臨床診断における有用性は未評価のままである。
本研究は,15のGPTスタイルのLCM,5つのBERTスタイルのモデル,11の従来手法をベンチマークすることによって,この問題に対処する。
論文 参考訳(メタデータ) (2024-07-26T06:09:10Z) - Machine Learning for ALSFRS-R Score Prediction: Making Sense of the Sensor Data [44.99833362998488]
筋萎縮性側索硬化症(Amyotrophic Lateral Sclerosis、ALS)は、急速に進行する神経変性疾患である。
iDPP@CLEF 2024チャレンジを先導した今回の調査は,アプリから得られるセンサデータを活用することに焦点を当てている。
論文 参考訳(メタデータ) (2024-07-10T19:17:23Z) - MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data
Augmentation [58.93221876843639]
本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。
トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。
ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
論文 参考訳(メタデータ) (2023-10-04T01:36:30Z) - Clinical Deterioration Prediction in Brazilian Hospitals Based on
Artificial Neural Networks and Tree Decision Models [56.93322937189087]
超強化ニューラルネットワーク(XBNet)は臨床劣化(CD)を予測するために用いられる
XGBoostモデルはブラジルの病院のデータからCDを予測する最良の結果を得た。
論文 参考訳(メタデータ) (2022-12-17T23:29:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。