論文の概要: CORE-BEHRT: A Carefully Optimized and Rigorously Evaluated BEHRT
- arxiv url: http://arxiv.org/abs/2404.15201v2
- Date: Wed, 24 Apr 2024 08:02:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-25 15:54:19.523714
- Title: CORE-BEHRT: A Carefully Optimized and Rigorously Evaluated BEHRT
- Title(参考訳): CORE-BEHRT: 慎重に最適化され、厳格に評価されるBEHRT
- Authors: Mikkel Odgaard, Kiril Vadimovic Klein, Sanne Møller Thysen, Espen Jimenez-Solem, Martin Sillesen, Mads Nielsen,
- Abstract要約: 本稿では,CORE-BEHRTについて紹介する。
データ表現の改善により,平均下流性能が0.785から0.797AUROCに向上することを示す。
その結果,25タスク中17タスクが顕著に向上し,24タスクが改善した。
- 参考スコア(独自算出の注目度): 1.825224193230824
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: BERT-based models for Electronic Health Records (EHR) have surged in popularity following the release of BEHRT and Med-BERT. Subsequent models have largely built on these foundations despite the fundamental design choices of these pioneering models remaining underexplored. To address this issue, we introduce CORE-BEHRT, a Carefully Optimized and Rigorously Evaluated BEHRT. Through incremental optimization, we isolate the sources of improvement for key design choices, giving us insights into the effect of data representation and individual technical components on performance. Evaluating this across a set of generic tasks (death, pain treatment, and general infection), we showed that improving data representation can increase the average downstream performance from 0.785 to 0.797 AUROC, primarily when including medication and timestamps. Improving the architecture and training protocol on top of this increased average downstream performance to 0.801 AUROC. We then demonstrated the consistency of our optimization through a rigorous evaluation across 25 diverse clinical prediction tasks. We observed significant performance increases in 17 out of 25 tasks and improvements in 24 tasks, highlighting the generalizability of our findings. Our findings provide a strong foundation for future work and aim to increase the trustworthiness of BERT-based EHR models.
- Abstract(参考訳): BERTベースのElectronic Health Records(EHR)モデルはBEHRTとMed-BERTのリリース以降、人気が高まっている。
その後のモデルは主にこれらの基礎の上に構築されてきたが、これらの先駆的なモデルの基本設計選択は未調査のままである。
この問題に対処するために、ケアリー・オプティマイズとリゴリズ・評価されたBEHRTであるCORE-BEHRTを紹介する。
インクリメンタルな最適化を通じて、重要な設計選択のための改善の源泉を分離し、データ表現と個々の技術コンポーネントがパフォーマンスに与える影響について洞察する。
一連の総合的な課題(死、痛み治療、一般感染)で評価した結果、データ表現の改善は、主に薬品やタイムスタンプを含む場合、平均下流性能を0.785AUROCから0.797AUROCに向上させることができることがわかった。
アーキテクチャとトレーニングプロトコルの改善により、平均ダウンストリーム性能は0.801 AUROCに向上した。
次に,25種類の臨床予測課題に対して厳密な評価を行うことで,最適化の整合性を実証した。
その結果,25タスク中17タスクが顕著に向上し,24タスクが改善した。
本研究は,今後の研究の基盤となるとともに,BERTベースのEHRモデルの信頼性向上をめざすものである。
関連論文リスト
- MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data
Augmentation [58.93221876843639]
本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。
トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。
ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
論文 参考訳(メタデータ) (2023-10-04T01:36:30Z) - Stochastic Re-weighted Gradient Descent via Distributionally Robust
Optimization [15.552869983952945]
本稿では,動的サンプル重み付けによるディープニューラルネットワークの性能向上を目的とした新しい最適化手法であるReweighted Gradient Descent(RGD)を提案する。
我々は,+0.7% (BedDomain), +1.44% (タブラル分類),+1.94% (GLUE with BERT), +1.01% (ImageNet-1K with ViT) など,多種多様なベンチマークにおけるRGDの適用性と影響を実証した。
論文 参考訳(メタデータ) (2023-06-15T15:58:04Z) - Clinical Deterioration Prediction in Brazilian Hospitals Based on
Artificial Neural Networks and Tree Decision Models [56.93322937189087]
超強化ニューラルネットワーク(XBNet)は臨床劣化(CD)を予測するために用いられる
XGBoostモデルはブラジルの病院のデータからCDを予測する最良の結果を得た。
論文 参考訳(メタデータ) (2022-12-17T23:29:14Z) - On the Importance of Clinical Notes in Multi-modal Learning for EHR Data [0.0]
電子健康記録データと臨床ノートを併用することにより,患者モニタリングの予測性能が向上することが従来研究で示されている。
EHRデータと臨床ノートを組み合わせることで、最先端のEHRデータモデルよりもパフォーマンスが大幅に向上することを確認した。
次に、臨床医のメモよりも、患者の状態に関するより広い文脈を含むメモのサブセットから、改善がほぼ排他的に生じることを示す分析を行った。
論文 参考訳(メタデータ) (2022-12-06T15:18:57Z) - Textual Data Augmentation for Patient Outcomes Prediction [67.72545656557858]
本稿では,患者の電子カルテに人工的な臨床ノートを作成するための新しいデータ拡張手法を提案する。
生成言語モデルGPT-2を微調整し、ラベル付きテキストを元のトレーニングデータで合成する。
今回,最も多い患者,すなわち30日間の寛解率について検討した。
論文 参考訳(メタデータ) (2022-11-13T01:07:23Z) - A comparison of approaches to improve worst-case predictive model
performance over patient subpopulations [14.175321968797252]
患者において平均的に正確な臨床結果の予測モデルは、いくつかのサブ集団に対して劇的に過小評価される可能性がある。
サブポピュレーションに対する解離および最悪の性能を一貫して改善するモデル開発と選択のアプローチを同定する。
本研究は, 比較的少数の例外を除いて, 標準学習法よりも, 患者サブポピュレーションに対するアプローチが優れていることが確認された。
論文 参考訳(メタデータ) (2021-08-27T13:10:00Z) - Mind the Performance Gap: Examining Dataset Shift During Prospective
Validation [6.232311195907715]
患者のリスク階層化モデルは、かつて臨床医療に統合された振り返りのパフォーマンスと比べて悪化する可能性がある。
医療関連感染症の予測のための患者リスク階層化モデル(2020-2021)の2020-2021年の予測性能と,同モデルの ('19-'20) 振り返り検証との比較を行った。
結果として生じるパフォーマンスのギャップは、主にインフラストラクチャシフトによるものであり、時間シフトによるものではない。
論文 参考訳(メタデータ) (2021-07-23T14:30:59Z) - Back2Future: Leveraging Backfill Dynamics for Improving Real-time
Predictions in Future [73.03458424369657]
公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。
過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。
我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
論文 参考訳(メタデータ) (2021-06-08T14:48:20Z) - Bootstrapping Your Own Positive Sample: Contrastive Learning With
Electronic Health Record Data [62.29031007761901]
本稿では,新しいコントラスト型正規化臨床分類モデルを提案する。
EHRデータに特化した2つのユニークなポジティブサンプリング戦略を紹介します。
私たちのフレームワークは、現実世界のCOVID-19 EHRデータの死亡リスクを予測するために、競争の激しい実験結果をもたらします。
論文 参考訳(メタデータ) (2021-04-07T06:02:04Z) - Bidirectional Representation Learning from Transformers using Multimodal
Electronic Health Record Data to Predict Depression [11.1492931066686]
うつ病の予測のために,ERHシーケンス上で双方向の表現学習を行うための時間的深層学習モデルを提案する。
このモデルでは, 曲線(PRAUC)下において, 最良ベースラインモデルと比較して, 抑うつ予測において0.70から0.76まで, 精度・リコール面積の最大値が得られた。
論文 参考訳(メタデータ) (2020-09-26T17:56:37Z) - Predicting Clinical Diagnosis from Patients Electronic Health Records
Using BERT-based Neural Networks [62.9447303059342]
医療コミュニティにおけるこの問題の重要性を示す。
本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。
約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
論文 参考訳(メタデータ) (2020-07-15T09:22:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。