Fugu-MT 論文翻訳(概要): CEHR-BERT: Incorporating temporal information from structured EHR data to improve prediction tasks

論文の概要: CEHR-BERT: Incorporating temporal information from structured EHR data to improve prediction tasks

arxiv url: http://arxiv.org/abs/2111.08585v1
Date: Wed, 10 Nov 2021 16:53:32 GMT
ステータス: 処理完了
システム内更新日: 2021-11-21 15:51:05.209971
Title: CEHR-BERT: Incorporating temporal information from structured EHR data to improve prediction tasks
Title（参考訳）: CEHR-BERT:予測タスクを改善するための構造化ERHデータからの時間情報の導入
Authors: Chao Pang (1), Xinzhuo Jiang (1), Krishna S Kalluri (1), Matthew Spotnitz (1), RuiJun Chen (2), Adler Perotte (1), Karthik Natarajan (1) ((1) Columbia University Irving Medical Center, (2) Geisinger)
Abstract要約: 我々は、ハイブリッドアプローチを用いて時間情報を組み込む新しいBERT適応CEHR-BERTを開発した。 CEHR-BERTはコロンビア大学アーヴィング医療センター-ヨーク長老派病院の臨床データのサブセットで訓練された。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Embedding algorithms are increasingly used to represent clinical concepts in healthcare for improving machine learning tasks such as clinical phenotyping and disease prediction. Recent studies have adapted state-of-the-art bidirectional encoder representations from transformers (BERT) architecture to structured electronic health records (EHR) data for the generation of contextualized concept embeddings, yet do not fully incorporate temporal data across multiple clinical domains. Therefore we developed a new BERT adaptation, CEHR-BERT, to incorporate temporal information using a hybrid approach by augmenting the input to BERT using artificial time tokens, incorporating time, age, and concept embeddings, and introducing a new second learning objective for visit type. CEHR-BERT was trained on a subset of Columbia University Irving Medical Center-York Presbyterian Hospital's clinical data, which includes 2.4M patients, spanning over three decades, and tested using 4-fold cross-validation on the following prediction tasks: hospitalization, death, new heart failure (HF) diagnosis, and HF readmission. Our experiments show that CEHR-BERT outperformed existing state-of-the-art clinical BERT adaptations and baseline models across all 4 prediction tasks in both ROC-AUC and PR-AUC. CEHR-BERT also demonstrated strong transfer learning capability, as our model trained on only 5% of data outperformed comparison models trained on the entire data set. Ablation studies to better understand the contribution of each time component showed incremental gains with every element, suggesting that CEHR-BERT's incorporation of artificial time tokens, time and age embeddings with concept embeddings, and the addition of the second learning objective represents a promising approach for future BERT-based clinical embeddings.
Abstract（参考訳）: 埋め込みアルゴリズムは、臨床表現型付けや疾患予測のような機械学習タスクを改善するための医療における臨床概念を表現するためにますます使われている。最近の研究は、最先端の双方向エンコーダ表現を変換器(BERT)アーキテクチャから構造化電子健康記録(EHR)データに適応させ、コンテキスト化された概念埋め込みを生成するが、複数の臨床領域にまたがる時間的データを完全に組み込むことはできない。そこで我々は,人工時間トークンを用いてBERTへの入力を増強し,時間,年齢,概念の埋め込みを取り入れ,訪問型のための新たな第2次学習目標を導入することで,ハイブリッドアプローチを用いて時間情報を統合する新たなBERT適応CEHR-BERTを開発した。 CEHR-BERTはコロンビア大学アーヴィング医療センター(英語版)-ヨーク長老派病院(英語版)の臨床データの一部に基づいて訓練され、30年以上にわたる2.4万の患者を含み、入院、死亡、新しい心不全(HF)診断、HF寛解といった予測タスクで4倍のクロスバリデーションを用いてテストされた。 ROC-AUCおよびPR-AUCの4つの予測タスクにおいて,CEHR-BERTは既存の最先端臨床BERT適応およびベースラインモデルよりも優れていた。 CEHR-BERTはまた、データセット全体においてトレーニングされた比較モデルよりも、わずか5%のパフォーマンスでトレーニングされたデータに対して、強力な転送学習能力を示した。各時間成分の寄与をよりよく理解するためのアブレーション研究は、CEHR-BERTの人工時間トークンの組み込み、概念埋め込みによる時間と年齢の埋め込み、そして第2学習目標の追加は、今後のBERTベースの臨床埋め込みにとって有望なアプローチであることを示唆している。

関連論文リスト

Electrocardiogram (ECG) Based Cardiac Arrhythmia Detection and Classification using Machine Learning Algorithms [0.0]
機械学習(ML)と深層学習(DL)は、診断、予後、重篤な健康状態の治療を改善するために、医学の新たな展望を開いている。本稿では,不整脈心電図(ECG)信号を分類するための予測精度の高いMLモデルの開発に着目する。
論文参考訳（メタデータ） (2024-12-07T08:29:44Z)
TREEMENT: Interpretable Patient-Trial Matching via Personalized Dynamic Tree-Based Memory Network [54.332862955411656]
臨床試験は薬物開発に不可欠であるが、しばしば高価で非効率な患者募集に苦しむ。近年,患者と臨床試験を自動マッチングすることで患者採用を高速化する機械学習モデルが提案されている。本稿では,TREement という名前の動的ツリーベースメモリネットワークモデルを導入する。
論文参考訳（メタデータ） (2023-07-19T12:35:09Z)
LATTE: Label-efficient Incident Phenotyping from Longitudinal Electronic Health Records [11.408950540503112]
本稿では, LAbel-efficienT incidenT phEnotypingアルゴリズムを提案する。 LATTEは2型糖尿病の発症、心不全、多発性硬化症の発症と再発の3つの分析に基づいて評価された。
論文参考訳（メタデータ） (2023-05-19T03:28:51Z)
Textual Data Augmentation for Patient Outcomes Prediction [67.72545656557858]
本稿では,患者の電子カルテに人工的な臨床ノートを作成するための新しいデータ拡張手法を提案する。生成言語モデルGPT-2を微調整し、ラベル付きテキストを元のトレーニングデータで合成する。今回,最も多い患者,すなわち30日間の寛解率について検討した。
論文参考訳（メタデータ） (2022-11-13T01:07:23Z)
MIMO: Mutual Integration of Patient Journey and Medical Ontology for Healthcare Representation Learning [49.57261599776167]
本稿では、医療表現学習と予測分析のための、エンドツーエンドの堅牢なトランスフォーマーベースのソリューション、患者旅行の相互統合、医療オントロジー(MIMO)を提案する。
論文参考訳（メタデータ） (2021-07-20T07:04:52Z)
Self-Supervised Graph Learning with Hyperbolic Embedding for Temporal Health Event Prediction [13.24834156675212]
本稿では,情報フローを組み込んだハイパーボリック埋め込み手法を提案する。我々は、これらの事前学習された表現をグラフニューラルネットワークに組み込んで、疾患の合併症を検出する。本稿では,EHRデータを完全に活用する自己教師付き学習フレームワークに,階層型で強化された履歴予測代行タスクを提案する。
論文参考訳（メタデータ） (2021-06-09T00:42:44Z)
Bootstrapping Your Own Positive Sample: Contrastive Learning With Electronic Health Record Data [62.29031007761901]
本稿では,新しいコントラスト型正規化臨床分類モデルを提案する。 EHRデータに特化した2つのユニークなポジティブサンプリング戦略を紹介します。私たちのフレームワークは、現実世界のCOVID-19 EHRデータの死亡リスクを予測するために、競争の激しい実験結果をもたらします。
論文参考訳（メタデータ） (2021-04-07T06:02:04Z)
Bidirectional Representation Learning from Transformers using Multimodal Electronic Health Record Data to Predict Depression [11.1492931066686]
うつ病の予測のために,ERHシーケンス上で双方向の表現学習を行うための時間的深層学習モデルを提案する。このモデルでは, 曲線(PRAUC)下において, 最良ベースラインモデルと比較して, 抑うつ予測において0.70から0.76まで, 精度・リコール面積の最大値が得られた。
論文参考訳（メタデータ） (2020-09-26T17:56:37Z)
BiteNet: Bidirectional Temporal Encoder Network to Predict Medical Outcomes [53.163089893876645]
本稿では,患者の医療旅行におけるコンテキスト依存と時間的関係を捉える,新たな自己注意機構を提案する。エンド・ツー・エンドの双方向時間エンコーダネットワーク(BiteNet)が患者の旅路の表現を学習する。実世界のEHRデータセットを用いた2つの教師付き予測と2つの教師なしクラスタリングタスクにおける手法の有効性を評価した。
論文参考訳（メタデータ） (2020-09-24T00:42:36Z)
Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
医療コミュニティにおけるこの問題の重要性を示す。本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
論文参考訳（メタデータ） (2020-07-15T09:22:55Z)
Med-BERT: pre-trained contextualized embeddings on large-scale structured electronic health records for disease prediction [12.669003066030697]
28,490,650人のEHRデータセットから得られた構造化診断データに基づいて,コンテキスト適応型埋め込みモデルの事前学習にBERTフレームワークを適用したMed-BERTを提案する。 Med-BERTは予測精度を大幅に改善し、受信機動作特性曲線(AUC)の領域を2.02-7.12%向上させた。特に、事前訓練されたMed-BERTは、非常に小さな微調整の訓練セット(300-500サンプル)でタスクのパフォーマンスを大幅に改善し、AUCを20%以上、または10倍の訓練セットのAUCと同等にする。
論文参考訳（メタデータ） (2020-05-22T05:07:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。