論文の概要: Medical SANSformers: Training self-supervised transformers without
attention for Electronic Medical Records
- arxiv url: http://arxiv.org/abs/2108.13672v1
- Date: Tue, 31 Aug 2021 08:23:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-02 00:25:02.295065
- Title: Medical SANSformers: Training self-supervised transformers without
attention for Electronic Medical Records
- Title（参考訳）: 医療SANSフォーマー:電子医療記録に注意しない自己監督型トランスフォーマーの訓練
- Authors: Yogesh Kumar, Alexander Ilin, Henri Salo, Sangita Kulathinal, Maarit
K. Leinonen, Pekka Marttinen
- Abstract要約: 電子カルテにおける臨床コードモデリングに適した誘導バイアスを具現化した新規な無注意シーケンシャルモデルSANSformersを開発した。
次に、タスク固有の自己監督目標を設計し、その効果を、特に少ないデータ設定で示す。
本研究では,新たなSANSformerアーキテクチャとLSTMモデルとTransformerモデルとの比較を行った。
- 参考スコア（独自算出の注目度）: 61.409078231922486
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We leverage deep sequential models to tackle the problem of predicting
healthcare utilization for patients, which could help governments to better
allocate resources for future healthcare use. Specifically, we study the
problem of \textit{divergent subgroups}, wherein the outcome distribution in a
smaller subset of the population considerably deviates from that of the general
population. The traditional approach for building specialized models for
divergent subgroups could be problematic if the size of the subgroup is very
small (for example, rare diseases). To address this challenge, we first develop
a novel attention-free sequential model, SANSformers, instilled with inductive
biases suited for modeling clinical codes in electronic medical records. We
then design a task-specific self-supervision objective and demonstrate its
effectiveness, particularly in scarce data settings, by pre-training each model
on the entire health registry (with close to one million patients) before
fine-tuning for downstream tasks on the divergent subgroups. We compare the
novel SANSformer architecture with the LSTM and Transformer models using two
data sources and a multi-task learning objective that aids healthcare
utilization prediction. Empirically, the attention-free SANSformer models
perform consistently well across experiments, outperforming the baselines in
most cases by at least $\sim 10$\%. Furthermore, the self-supervised
pre-training boosts performance significantly throughout, for example by over
$\sim 50$\% (and as high as $800$\%) on $R^2$ score when predicting the number
of hospital visits.
- Abstract（参考訳）: 我々は,今後の医療利用のための資源配分を改善するために,患者に対する医療利用の予測という課題に取り組むために,深い逐次モデルを活用する。
具体的には、人口の小さな部分集合における結果分布が一般集団のそれとかなり異なるような、 \textit{divergent subgroups} の問題を研究する。
発散したサブグループのための特殊モデルを構築する従来のアプローチは、サブグループのサイズが非常に小さい場合(例えば稀な疾患)に問題となる。
この課題に対処するため,我々はまず,電子カルテにおける臨床コードモデリングに適した帰納バイアスを付与した,注意を払わないシーケンシャルモデルsansformersを開発した。
次に、タスク固有のセルフスーパービジョンの目標を設計し、その効果、特に不足データ設定において、分岐したサブグループの下流タスクを微調整する前に、健康レジストリ全体(100万人近い患者を含む)で各モデルを事前訓練することで、その効果を実証する。
2つのデータソースと,医療利用予測を支援するマルチタスク学習目標を用いて,新たなsansformerアーキテクチャとlstmおよびtransformerモデルを比較した。
経験的に、無注意SANSformerモデルは実験全体で一貫して良好に動作し、ほとんどの場合、少なくとも$\sim 10$\%のベースラインを上回っている。
さらに、セルフ教師付きプレトレーニングは、病院訪問数を予測する際に、50$\%以上(そして800$\%以上)をR^2$スコアで、パフォーマンスを大幅に向上させる。
関連論文リスト
- Synthesizing Multimodal Electronic Health Records via Predictive Diffusion Models [69.06149482021071]
EHRPDと呼ばれる新しいEHRデータ生成モデルを提案する。
時間間隔推定を組み込んだ拡散モデルである。
我々は2つの公開データセットで実験を行い、忠実さ、プライバシー、実用性の観点からEPHPDを評価する。
論文 参考訳（メタデータ） (2024-06-20T02:20:23Z) - Recent Advances in Predictive Modeling with Electronic Health Records [71.19967863320647]
EHRデータを予測モデリングに利用すると、その特徴からいくつかの課題が生じる。
深層学習は、医療を含む様々な応用においてその優位性を示している。
論文 参考訳（メタデータ） (2024-02-02T00:31:01Z) - IGNITE: Individualized GeNeration of Imputations in Time-series Electronic health records [6.630372114304835]
本研究では、患者動態を学習し、個人の人口動態の特徴や治療に合わせたパーソナライズされた値を生成する新しいディープラーニングモデルを提案する。
提案モデルであるIGNITEは,2段階の注意を付加した条件付き2変分オートエンコーダを用いて,個人に対して欠落した値を生成する。
IGNITEは,データ再構成の欠如やタスク予測において,最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-01-09T07:57:21Z) - MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data
Augmentation [58.93221876843639]
本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。
トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。
ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
論文 参考訳（メタデータ） (2023-10-04T01:36:30Z) - Integrated Convolutional and Recurrent Neural Networks for Health Risk
Prediction using Patient Journey Data with Many Missing Values [9.418011774179794]
本稿では,統合畳み込みニューラルネットワークとリカレントニューラルネットワークを用いたEMH患者旅行データモデリングのためのエンドツーエンドアプローチを提案する。
本モデルでは,各患者旅行における長期的・短期的時間的パターンを抽出し,インパルスデータ生成を伴わずに,高レベルのEHRデータの欠落を効果的に処理することができる。
論文 参考訳（メタデータ） (2022-11-11T07:36:18Z) - COPER: Continuous Patient State Perceiver [13.735956129637945]
本研究では,ERHにおける不規則な時系列に対処するため,COPERと呼ばれる新規患者状態パーセンシバーモデルを提案する。
ニューラル常微分方程式(ODE)は、COPERが通常の時系列を生成してPerceiverモデルに供給するのに役立ちます。
提案モデルの性能評価には,MIMIC-IIIデータセット上での院内死亡予測タスクを用いる。
論文 参考訳（メタデータ） (2022-08-05T14:32:57Z) - Unsupervised Pre-Training on Patient Population Graphs for Patient-Level
Predictions [48.02011627390706]
プレトレーニングは、コンピュータビジョン(CV)、自然言語処理(NLP)、医療画像など、機械学習のさまざまな分野で成功している。
本稿では,患者結果の予測のために,教師なし事前学習を異種マルチモーダルEHRデータに適用する。
提案手法は,人口レベルでのデータモデリングに有効であることがわかった。
論文 参考訳（メタデータ） (2022-03-23T17:59:45Z) - Generating Synthetic Mixed-type Longitudinal Electronic Health Records
for Artificial Intelligent Applications [9.374416143268892]
EHR-M-GAN (Generative Adversarial Network, GAN) は、EHRデータを合成する。
EHR-M-GANは,141,488名の患者を対象とし,3つの公用集中治療単位データベース上で検証した。
論文 参考訳（メタデータ） (2021-12-22T17:17:34Z) - Self-Supervised Graph Learning with Hyperbolic Embedding for Temporal
Health Event Prediction [13.24834156675212]
本稿では,情報フローを組み込んだハイパーボリック埋め込み手法を提案する。
我々は、これらの事前学習された表現をグラフニューラルネットワークに組み込んで、疾患の合併症を検出する。
本稿では,EHRデータを完全に活用する自己教師付き学習フレームワークに,階層型で強化された履歴予測代行タスクを提案する。
論文 参考訳（メタデータ） (2021-06-09T00:42:44Z) - Bootstrapping Your Own Positive Sample: Contrastive Learning With
Electronic Health Record Data [62.29031007761901]
本稿では,新しいコントラスト型正規化臨床分類モデルを提案する。
EHRデータに特化した2つのユニークなポジティブサンプリング戦略を紹介します。
私たちのフレームワークは、現実世界のCOVID-19 EHRデータの死亡リスクを予測するために、競争の激しい実験結果をもたらします。
論文 参考訳（メタデータ） (2021-04-07T06:02:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。