論文の概要: CKD-EHR:Clinical Knowledge Distillation for Electronic Health Records

• arxiv url: http://arxiv.org/abs/2506.15118v1
• Date: Wed, 18 Jun 2025 03:35:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.544559
• Title: CKD-EHR:Clinical Knowledge Distillation for Electronic Health Records
• Title（参考訳）: CKD-EHR:電子健康記録のための臨床知識蒸留
• Authors: Junke Wang, Hongshun Ling, Li Zhang, Longqian Zhang, Fang Wang, Yuan Gao, Zhi Li,
• Abstract要約: 既存の大きな言語モデルは、医療知識の不足と臨床展開の効率の低下という2つの大きな課題に直面している。 本研究では, 知識蒸留技術を用いて, 効率的かつ正確な疾患リスク予測を実現するCKD-EHRフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 16.68137505931177
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Electronic Health Records (EHR)-based disease prediction models have demonstrated significant clinical value in promoting precision medicine and enabling early intervention. However, existing large language models face two major challenges: insufficient representation of medical knowledge and low efficiency in clinical deployment. To address these challenges, this study proposes the CKD-EHR (Clinical Knowledge Distillation for EHR) framework, which achieves efficient and accurate disease risk prediction through knowledge distillation techniques. Specifically, the large language model Qwen2.5-7B is first fine-tuned on medical knowledge-enhanced data to serve as the teacher model.It then generates interpretable soft labels through a multi-granularity attention distillation mechanism. Finally, the distilled knowledge is transferred to a lightweight BERT student model. Experimental results show that on the MIMIC-III dataset, CKD-EHR significantly outperforms the baseline model:diagnostic accuracy is increased by 9%, F1-score is improved by 27%, and a 22.2 times inference speedup is achieved. This innovative solution not only greatly improves resource utilization efficiency but also significantly enhances the accuracy and timeliness of diagnosis, providing a practical technical approach for resource optimization in clinical settings. The code and data for this research are available athttps://github.com/209506702/CKD_EHR.
• Abstract（参考訳）: 電子健康記録(EHR)に基づく疾患予測モデルは、精密医療の推進と早期介入の実現に重要な臨床的価値を示している。 しかし、既存の大規模言語モデルは、医療知識の不足と臨床展開の効率の低下という2つの大きな課題に直面している。 これらの課題に対処するために, 知識蒸留技術を用いて, 効率的かつ正確な疾患リスク予測を実現する CKD-EHR (Clinical Knowledge Distillation for EHR) フレームワークを提案する。 特に,大きな言語モデルであるQwen2.5-7Bは,まず医療知識を付加したデータを微調整して教師モデルとして利用し,多粒度注意蒸留機構を用いて解釈可能なソフトラベルを生成する。 最後に、蒸留された知識は、軽量のBERT学生モデルに転送される。 実験の結果,MIMIC-IIIデータセットではCKD-EHRがベースラインモデルよりも優れており,診断精度が9%向上し,F1スコアが27%向上し,推論速度が22.2倍向上した。 この革新的なソリューションは、資源利用効率を大幅に改善するだけでなく、診断の正確性やタイムラインを大幅に向上させ、臨床現場での資源最適化のための実践的な技術的アプローチを提供する。 この研究のコードとデータはhttps://github.com/209506702/CKD_EHRで公開されている。

関連論文リスト

• Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval [61.70489848327436]
  KAREは、知識グラフ(KG)コミュニティレベルの検索と大規模言語モデル(LLM)推論を統合する新しいフレームワークである。 MIMIC-IIIでは最大10.8～15.0%、MIMIC-IVでは12.6～12.7%である。
  論文  参考訳（メタデータ） (2024-10-06T18:46:28Z)
• A Knowledge-Enhanced Disease Diagnosis Method Based on Prompt Learning and BERT Integration [0.0]
  本稿では,素早い学習枠組みに基づく知識強調型疾患診断手法を提案する。 本手法は、臨床症例に関連する外部知識グラフから構造化知識を検索し、それをエンコードし、プロンプトテンプレートに注入することで、言語モデルのタスクに対する理解と推論能力を高める。
  論文  参考訳（メタデータ） (2024-09-16T15:34:58Z)
• MedDet: Generative Adversarial Distillation for Efficient Cervical Disc Herniation Detection [24.833129797776422]
  頚椎椎間板ヘルニア(Cervical disc herniation, CDH)は、筋骨格障害の一種で、専門医による労働集約的な分析を必要とする。 医用画像の自動検出の進歩にもかかわらず、これらの手法のリアルタイム適用を妨げる2つの重要な課題がある。 MedDetは,モデル圧縮と効率向上のために,マルチ教師の単一学習知識蒸留を利用する。 最後に,CDH-1848データセットの総合的な実験を行い,従来の手法と比較して最大5%のmAP改善を実現した。
  論文  参考訳（メタデータ） (2024-08-30T18:38:19Z)
• MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data Augmentation [58.93221876843639]
  本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。 トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。 ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
  論文  参考訳（メタデータ） (2023-10-04T01:36:30Z)
• FineEHR: Refine Clinical Note Representations to Improve Mortality Prediction [3.9026461169566673]
  大規模な電子健康記録は、臨床テキストとバイタルサインデータの豊富な機械学習モデルを提供する。 臨床ノート分析のための高度な自然言語処理(NLP)アルゴリズムの出現にもかかわらず、生臨床データに存在する複雑なテキスト構造とノイズは重大な課題となっている。 本稿では,2つの表現学習技術,すなわちメートル法学習と微調整技術を用いて,臨床ノートの埋め込みを洗練させるシステムFINEEHRを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:42:52Z)
• SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for Lightweight Skin Lesion Classification Using Dermoscopic Images [62.60956024215873]
  皮膚がんは最も一般的な悪性腫瘍の1つであり、人口に影響を与え、世界中で経済的な重荷を負っている。 皮膚がん検出のほとんどの研究は、ポータブルデバイス上での計算資源の制限を考慮せずに、高い予測精度を追求している。 本研究は,皮膚疾患分類のための汎用的なKDフレームワークに多様な知識を統一する,SSD-KDと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T06:54:29Z)
• Variational Knowledge Distillation for Disease Classification in Chest X-Rays [102.04931207504173]
  我々は,X線に基づく疾患分類のための新しい確率的推論フレームワークである反復的知識蒸留(VKD)を提案する。 提案手法の有効性を,X線画像とEHRを用いた3つの公開ベンチマークデータセットに示す。
  論文  参考訳（メタデータ） (2021-03-19T14:13:56Z)
• UNITE: Uncertainty-based Health Risk Prediction Leveraging Multi-sourced Data [81.00385374948125]
  我々はUNcertaInTyベースのhEalth Risk Prediction(UNITE)モデルを提案する。 UNITEは、複数ソースの健康データを活用した正確な疾患リスク予測と不確実性推定を提供する。 非アルコール性脂肪肝疾患(NASH)とアルツハイマー病(AD)の実態予測タスクにおけるUNITEの評価を行った。 UNITEはAD検出のF1スコアで最大0.841点、NASH検出のPR-AUCで最大0.609点を達成し、最高のベースラインで最大19%の高パフォーマンスを達成している。
  論文  参考訳（メタデータ） (2020-10-22T02:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。