論文の概要: Large Language Multimodal Models for 5-Year Chronic Disease Cohort Prediction Using EHR Data

• arxiv url: http://arxiv.org/abs/2403.04785v2
• Date: Thu, 29 Aug 2024 22:18:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 20:11:53.448143
• Title: Large Language Multimodal Models for 5-Year Chronic Disease Cohort Prediction Using EHR Data
• Title（参考訳）: EHRデータを用いた5年間の慢性疾患コホート予測のための大規模言語マルチモーダルモデル
• Authors: Jun-En Ding, Phan Nguyen Minh Thao, Wen-Chih Peng, Jian-Zhe Wang, Chun-Cheng Chug, Min-Chen Hsieh, Yun-Chien Tseng, Ling Chen, Dongsheng Luo, Chi-Te Wang, Pei-fu Chen, Feng Liu, Fang-Ming Hung,
• Abstract要約: 糖尿病などの慢性疾患が世界中で致死率と死亡率の主な原因となっている。 我々は,慢性疾患リスクの予測にマルチモーダルデータを組み込んだLarge Language Multimodal Models (LLMMs) フレームワークを提案する。 本手法では, テキスト埋め込みエンコーダとマルチヘッドアテンション層を組み合わせて, 深層ニューラルネットワーク(DNN)モジュールを用いて, 血液の特徴と慢性疾患のセマンティクスを潜在空間にマージする。
• 参考スコア（独自算出の注目度）: 15.474201222908107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chronic diseases such as diabetes are the leading causes of morbidity and mortality worldwide. Numerous research studies have been attempted with various deep learning models in diagnosis. However, most previous studies had certain limitations, including using publicly available datasets (e.g. MIMIC), and imbalanced data. In this study, we collected five-year electronic health records (EHRs) from the Taiwan hospital database, including 1,420,596 clinical notes, 387,392 laboratory test results, and more than 1,505 laboratory test items, focusing on research pre-training large language models. We proposed a novel Large Language Multimodal Models (LLMMs) framework incorporating multimodal data from clinical notes and laboratory test results for the prediction of chronic disease risk. Our method combined a text embedding encoder and multi-head attention layer to learn laboratory test values, utilizing a deep neural network (DNN) module to merge blood features with chronic disease semantics into a latent space. In our experiments, we observe that clinicalBERT and PubMed-BERT, when combined with attention fusion, can achieve an accuracy of 73% in multiclass chronic diseases and diabetes prediction. By transforming laboratory test values into textual descriptions and employing the Flan T-5 model, we achieved a 76% Area Under the ROC Curve (AUROC), demonstrating the effectiveness of leveraging numerical text data for training and inference in language models. This approach significantly improves the accuracy of early-stage diabetes prediction.
• Abstract（参考訳）: 糖尿病などの慢性疾患が世界中で致死率と死亡率の主な原因となっている。 様々な深層学習モデルを用いて多くの研究が試みられている。 しかし、これまでのほとんどの研究では、公開データセット(例えばMIMIC)や不均衡なデータなど、一定の制限があった。 本研究では,台湾の病院データベースから,1,420,596名,387,392名の臨床検査結果,1,505名以上の臨床検査項目を含む5年間の電子健康記録(EHR)を収集し,大規模言語モデルの事前学習に焦点をあてた。 臨床ノートから得られたマルチモーダルデータを組み込んだLLMM(Large Language Multimodal Models)フレームワークと,慢性疾患リスク予測のための検査結果を提案した。 本手法では, テキスト埋め込みエンコーダとマルチヘッドアテンション層を組み合わせて, 深層ニューラルネットワーク(DNN)モジュールを用いて, 血液の特徴と慢性疾患のセマンティクスを潜在空間にマージする。 本実験では,臨床BERTとPubMed-BERTの併用により,多型性慢性疾患および糖尿病予測において73%の精度が得られた。 実験室の試験値をテキスト記述に変換し,Flan T-5モデルを用いて,ROC曲線(AUROC)の下で76%のエリアを達成し,言語モデルのトレーニングと推論に数値テキストデータを活用することの有効性を実証した。 このアプローチは早期糖尿病予測の精度を大幅に向上させる。

関連論文リスト

• Leveraging Prompt-Learning for Structured Information Extraction from Crohn's Disease Radiology Reports in a Low-Resource Language [11.688665498310405]
  SMP-BERTは、自由テキストラジオグラフィーレポートを自動的に構造化データに変換する新しいプロンプト学習法である。 そこで本研究では,SMP-BERTが従来の微調整法をはるかに上回った。
  論文  参考訳（メタデータ） (2024-05-02T19:11:54Z)
• Using Pre-training and Interaction Modeling for ancestry-specific disease prediction in UK Biobank [69.90493129893112]
  近年のゲノムワイド・アソシエーション(GWAS)研究は、複雑な形質の遺伝的基盤を明らかにしているが、非ヨーロッパ系個体の低発現を示している。 そこで本研究では,マルチオミクスデータを用いて,多様な祖先間での疾患予測を改善することができるかを評価する。
  論文  参考訳（メタデータ） (2024-04-26T16:39:50Z)
• Federated Learning Enables Big Data for Rare Cancer Boundary Detection [98.5549882883963]
  6大陸にわたる71の医療機関のデータを含む,これまでで最大のフェデレーテッドML研究の結果を報告する。 グリオ芽腫の稀な疾患に対する腫瘍境界自動検出装置を作製した。 当科では, 外科的に標的とした腫瘍の悪性度を高めるために, 33%の改善率を示し, 腫瘍全体に対する23%の改善率を示した。
  論文  参考訳（メタデータ） (2022-04-22T17:27:00Z)
• Feature-context driven Federated Meta-Learning for Rare Disease Prediction [5.841823822793997]
  本稿では,フェデレートされたメタラーニングに基づく,まれな疾患予測のための新しいアプローチを提案する。 提案手法は,従来のフェデレーションメタ学習アルゴリズムの精度と高速化に優れることを示す。
  論文  参考訳（メタデータ） (2021-12-29T02:18:43Z)
• UNITE: Uncertainty-based Health Risk Prediction Leveraging Multi-sourced Data [81.00385374948125]
  我々はUNcertaInTyベースのhEalth Risk Prediction(UNITE)モデルを提案する。 UNITEは、複数ソースの健康データを活用した正確な疾患リスク予測と不確実性推定を提供する。 非アルコール性脂肪肝疾患(NASH)とアルツハイマー病(AD)の実態予測タスクにおけるUNITEの評価を行った。 UNITEはAD検出のF1スコアで最大0.841点、NASH検出のPR-AUCで最大0.609点を達成し、最高のベースラインで最大19%の高パフォーマンスを達成している。
  論文  参考訳（メタデータ） (2020-10-22T02:28:11Z)
• All Data Inclusive, Deep Learning Models to Predict Critical Events in the Medical Information Mart for Intensive Care III Database (MIMIC III) [0.0]
  本研究は35,348人を対象に42,818人の入院患者を対象に行った。 複数のデータソースにわたる7500万以上のイベントが処理され、3億5500万以上のトークンが処理された。 すべてのデータソースを使用して構築されたモデルから、はるかに信頼性が高く、信頼性の高いホスピタル死亡を予測できる。
  論文  参考訳（メタデータ） (2020-09-02T22:12:18Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)
• Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
  医療コミュニティにおけるこの問題の重要性を示す。 本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。 約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
  論文  参考訳（メタデータ） (2020-07-15T09:22:55Z)
• Short Term Blood Glucose Prediction based on Continuous Glucose Monitoring Data [53.01543207478818]
  本研究では,デジタル意思決定支援ツールの入力として連続グルコースモニタリング(Continuous Glucose Monitoring, CGM)データを利用する方法について検討する。 短時間の血液グルコース (STBG) 予測において, リカレントニューラルネットワーク (Recurrent Neural Networks, RNN) をどのように利用できるかを検討する。
  論文  参考訳（メタデータ） (2020-02-06T16:39:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。