Fugu-MT 論文翻訳(概要): Med-BERT: pre-trained contextualized embeddings on large-scale structured electronic health records for disease prediction

論文の概要: Med-BERT: pre-trained contextualized embeddings on large-scale structured electronic health records for disease prediction

arxiv url: http://arxiv.org/abs/2005.12833v1
Date: Fri, 22 May 2020 05:07:17 GMT
ステータス: 処理完了
システム内更新日: 2022-11-30 08:15:19.990770
Title: Med-BERT: pre-trained contextualized embeddings on large-scale structured electronic health records for disease prediction
Title（参考訳）: Med-BERT:疾患予測のための大規模構造化電子健康記録への事前学習型文脈埋め込み
Authors: Laila Rasmy, Yang Xiang, Ziqian Xie, Cui Tao and Degui Zhi
Abstract要約: 28,490,650人のEHRデータセットから得られた構造化診断データに基づいて,コンテキスト適応型埋め込みモデルの事前学習にBERTフレームワークを適用したMed-BERTを提案する。 Med-BERTは予測精度を大幅に改善し、受信機動作特性曲線(AUC)の領域を2.02-7.12%向上させた。特に、事前訓練されたMed-BERTは、非常に小さな微調整の訓練セット(300-500サンプル)でタスクのパフォーマンスを大幅に改善し、AUCを20%以上、または10倍の訓練セットのAUCと同等にする。
参考スコア（独自算出の注目度）: 12.669003066030697
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep learning (DL) based predictive models from electronic health records (EHR) deliver impressive performance in many clinical tasks. Large training cohorts, however, are often required to achieve high accuracy, hindering the adoption of DL-based models in scenarios with limited training data size. Recently, bidirectional encoder representations from transformers (BERT) and related models have achieved tremendous successes in the natural language processing domain. The pre-training of BERT on a very large training corpus generates contextualized embeddings that can boost the performance of models trained on smaller datasets. We propose Med-BERT, which adapts the BERT framework for pre-training contextualized embedding models on structured diagnosis data from 28,490,650 patients EHR dataset. Fine-tuning experiments are conducted on two disease-prediction tasks: (1) prediction of heart failure in patients with diabetes and (2) prediction of pancreatic cancer from two clinical databases. Med-BERT substantially improves prediction accuracy, boosting the area under receiver operating characteristics curve (AUC) by 2.02-7.12%. In particular, pre-trained Med-BERT substantially improves the performance of tasks with very small fine-tuning training sets (300-500 samples) boosting the AUC by more than 20% or equivalent to the AUC of 10 times larger training set. We believe that Med-BERT will benefit disease-prediction studies with small local training datasets, reduce data collection expenses, and accelerate the pace of artificial intelligence aided healthcare.
Abstract（参考訳）: 深層学習(DL)に基づく電子健康記録(EHR)からの予測モデルは、多くの臨床的タスクにおいて素晴らしいパフォーマンスをもたらす。しかし、大規模なトレーニングコホートは高い精度を達成するために要求されることが多く、訓練データサイズが制限されたシナリオにおけるDLベースのモデルの採用を妨げる。近年,変換器(BERT)および関連モデルからの双方向エンコーダ表現は,自然言語処理領域において大きな成功を収めている。非常に大規模なトレーニングコーパス上のBERTの事前トレーニングは、小さなデータセットでトレーニングされたモデルのパフォーマンスを向上する、コンテキスト化された埋め込みを生成する。 28,490,650人のEHRデータセットから得られた構造化診断データに基づいて,BERTフレームワークを事前学習するためのMed-BERTを提案する。糖尿病患者の心不全の予測と2つの臨床データベースからの膵癌の予測の2つの疾患予測課題について微調整実験を行った。 Med-BERTは予測精度を大幅に改善し、受信機動作特性曲線(AUC)の領域を2.02-7.12%向上させた。特に、事前訓練されたMed-BERTは、非常に小さな微調整の訓練セット(300-500サンプル)でタスクのパフォーマンスを大幅に改善し、AUCを20%以上向上させた。我々は、Med-BERTが小さなローカルトレーニングデータセットによる疾病予防研究の恩恵を受け、データ収集費用を削減し、人工知能支援医療のペースを加速すると考えている。

関連論文リスト

BISeizuRe: BERT-Inspired Seizure Data Representation to Improve Epilepsy Monitoring [13.35453284825286]
本研究では,BERTモデルを用いた脳波による発作検出の新しい手法を提案する。 BENDRは2段階のトレーニングプロセス、事前トレーニング、微調整を行う。最適化されたモデルでは性能が大幅に向上し、0.23 FP/h、2.5$times$はベースラインモデルよりも低く、感度は低いが許容できる。
論文参考訳（メタデータ） (2024-06-27T14:09:10Z)
Clinical Deterioration Prediction in Brazilian Hospitals Based on Artificial Neural Networks and Tree Decision Models [56.93322937189087]
超強化ニューラルネットワーク(XBNet)は臨床劣化(CD)を予測するために用いられる XGBoostモデルはブラジルの病院のデータからCDを予測する最良の結果を得た。
論文参考訳（メタデータ） (2022-12-17T23:29:14Z)
Textual Data Augmentation for Patient Outcomes Prediction [67.72545656557858]
本稿では,患者の電子カルテに人工的な臨床ノートを作成するための新しいデータ拡張手法を提案する。生成言語モデルGPT-2を微調整し、ラベル付きテキストを元のトレーニングデータで合成する。今回,最も多い患者,すなわち30日間の寛解率について検討した。
論文参考訳（メタデータ） (2022-11-13T01:07:23Z)
A Comprehensive Benchmark for COVID-19 Predictive Modeling Using Electronic Health Records in Intensive Care [15.64030213048907]
集中治療室における新型コロナウイルス患者のアウトカム特異的長期予測と早期死亡予測の2つの臨床予測課題を提案する。この2つの課題は、新型コロナウイルス(COVID-19)患者の臨床実践に対応するため、単純で不安定な長寿と死亡予測のタスクから適応される。我々は、公平で詳細なオープンソースのデータ前処理パイプラインを提案し、2つのタスクで17の最先端予測モデルを評価する。
論文参考訳（メタデータ） (2022-09-16T09:09:15Z)
Density-Aware Personalized Training for Risk Prediction in Imbalanced Medical Data [89.79617468457393]
不均衡率(クラス密度差)のトレーニングモデルは、最適以下の予測につながる可能性がある。この不均衡問題に対するモデルトレーニングのためのフレームワークを提案する。実世界の医療データセットにおけるモデルの性能向上を実証する。
論文参考訳（メタデータ） (2022-07-23T00:39:53Z)
Unsupervised Pre-Training on Patient Population Graphs for Patient-Level Predictions [48.02011627390706]
プレトレーニングは、コンピュータビジョン(CV)、自然言語処理(NLP)、医療画像など、機械学習のさまざまな分野で成功している。本稿では,患者結果の予測のために,教師なし事前学習を異種マルチモーダルEHRデータに適用する。提案手法は,人口レベルでのデータモデリングに有効であることがわかった。
論文参考訳（メタデータ） (2022-03-23T17:59:45Z)
CEHR-BERT: Incorporating temporal information from structured EHR data to improve prediction tasks [0.0]
我々は、ハイブリッドアプローチを用いて時間情報を組み込む新しいBERT適応CEHR-BERTを開発した。 CEHR-BERTはコロンビア大学アーヴィング医療センター-ヨーク長老派病院の臨床データのサブセットで訓練された。
論文参考訳（メタデータ） (2021-11-10T16:53:32Z)
Pre-training transformer-based framework on large-scale pediatric claims data for downstream population-specific tasks [3.1580072841682734]
本研究は、小児科のクレームデータセット全体をトレーニングする一般的な事前学習モデルであるClaim Pre-Training(Claim-PT)フレームワークを提案する。効果的な知識伝達はタスク対応微調整段階を通じて完了する。我々は100万人以上の患者記録を持つ実世界のクレームデータセットの実験を行った。
論文参考訳（メタデータ） (2021-06-24T15:25:41Z)
Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
医療コミュニティにおけるこの問題の重要性を示す。本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
論文参考訳（メタデータ） (2020-07-15T09:22:55Z)
Self-Training with Improved Regularization for Sample-Efficient Chest X-Ray Classification [80.00316465793702]
挑戦的なシナリオで堅牢なモデリングを可能にするディープラーニングフレームワークを提案する。その結果,85%のラベル付きデータを用いて,大規模データ設定で学習した分類器の性能に適合する予測モデルを構築することができた。
論文参考訳（メタデータ） (2020-05-03T02:36:00Z)
Language Models Are An Effective Patient Representation Learning Technique For Electronic Health Record Data [7.260199064831896]
本研究では,自然言語処理技術に触発された患者表現方式により,臨床予測モデルの精度が向上することを示す。このような患者表現方式は、標準的な基準よりも5つの予測タスクにおいて、3.5%の平均的なAUROCの改善を可能にする。
論文参考訳（メタデータ） (2020-01-06T22:24:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。