論文の概要: SANSformers: Self-Supervised Forecasting in Electronic Health Records
with Attention-Free Models
- arxiv url: http://arxiv.org/abs/2108.13672v3
- Date: Wed, 9 Aug 2023 14:27:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-10 18:39:23.047565
- Title: SANSformers: Self-Supervised Forecasting in Electronic Health Records
with Attention-Free Models
- Title（参考訳）: SANSformers:無意識モデルによる電子健康記録の自己監督型予測
- Authors: Yogesh Kumar, Alexander Ilin, Henri Salo, Sangita Kulathinal, Maarit
K. Leinonen, Pekka Marttinen
- Abstract要約: 本稿では,EHRデータの特異な特徴を考慮に入れた,誘導バイアスに特化して設計された新しいアテンションフリーシーケンシャルモデルを提案する。
我々の主な応用分野は、医療資源を効果的に配分するための重要な課題である将来の医療利用を予測することである。
我々は,GSP(Generative Summary Pretraining)と呼ばれる自己指導型プレトレーニング戦略を採用する。GSPは過去の健康記録に基づいて,患者の過去の歴史における将来のウィンドウの要約統計を予測する。
- 参考スコア（独自算出の注目度）: 62.50833099740977
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The application of Transformer neural networks to Electronic Health Records
(EHR) is challenging due to the distinct, multidimensional sequential structure
of EHR data, often leading to underperformance when compared to simpler linear
models. Thus, the advantages of Transformers, such as efficient transfer
learning and improved scalability are not fully exploited in EHR applications.
To overcome these challenges, we introduce SANSformer, a novel attention-free
sequential model designed specifically with inductive biases to cater for the
unique characteristics of EHR data.
Our main application area is predicting future healthcare utilization, a
crucial task for effectively allocating healthcare resources. This task becomes
particularly difficult when dealing with divergent patient subgroups. These
subgroups, characterized by unique health trajectories and often small in size,
such as patients with rare diseases, require specialized modeling approaches.
To address this, we adopt a self-supervised pretraining strategy, which we term
Generative Summary Pretraining (GSP). GSP predicts summary statistics of a
future window in the patient's history based on their past health records, thus
demonstrating potential to deal with the noisy and complex nature of EHR data.
We pretrain our models on a comprehensive health registry encompassing close to
one million patients, before fine-tuning them for specific subgroup prediction
tasks.
In our evaluations, SANSformer consistently outshines strong EHR baselines.
Importantly, our GSP pretraining method greatly enhances model performance,
especially for smaller patient subgroups. Our findings underscore the
substantial potential of bespoke attention-free models and self-supervised
pretraining for enhancing healthcare utilization predictions across a broad
range of patient groups.
- Abstract（参考訳）: トランスフォーマーニューラルネットワークをElectronic Health Records (EHR)に応用することは、EHRデータの異なる多次元的なシーケンシャル構造のために困難であり、単純な線形モデルと比較すると、しばしば性能が低下する。
したがって、効率的な転送学習やスケーラビリティ向上といったトランスフォーマーの利点は、EHRアプリケーションでは十分に活用されていない。
これらの課題を克服するために,入射バイアスに特化して設計された新しい注意のないシーケンシャルモデルであるSANSformerを紹介した。
我々の主な応用分野は、医療資源を効果的に配分するための重要な課題である将来の医療利用を予測することである。
異なる患者サブグループを扱う場合、このタスクは特に困難になる。
これらのサブグループは、ユニークな健康軌道を特徴とし、まれな疾患を持つ患者など、しばしば小さなサイズで、特殊なモデリングアプローチを必要とする。
そこで我々は,GSP(Generative Summary Pretraining)と呼ぶ自己指導型事前学習戦略を採用した。
GSPは、過去の健康記録に基づいて、患者の過去における将来のウィンドウの要約統計を予測し、ERHデータのノイズと複雑な性質に対処する可能性を示す。
我々は、患者100万人近い包括的健康登録簿にモデルを事前訓練した後、特定のサブグループ予測タスクのためにそれらを微調整する。
我々の評価では、SANSformerは強いEHRベースラインを一貫して上回っている。
重要なことは、GSPプレトレーニング法は、特に小さな患者サブグループにおいて、モデル性能を大幅に向上させる。
本研究は, 幅広い患者集団にわたる医療利用予測の促進を目的とした, 個別注意フリーモデルと自己教師付き事前訓練の実質的な可能性の核心である。
関連論文リスト
- Synthesizing Multimodal Electronic Health Records via Predictive Diffusion Models [69.06149482021071]
EHRPDと呼ばれる新しいEHRデータ生成モデルを提案する。
時間間隔推定を組み込んだ拡散モデルである。
我々は2つの公開データセットで実験を行い、忠実さ、プライバシー、実用性の観点からEPHPDを評価する。
論文 参考訳（メタデータ） (2024-06-20T02:20:23Z) - Recent Advances in Predictive Modeling with Electronic Health Records [71.19967863320647]
EHRデータを予測モデリングに利用すると、その特徴からいくつかの課題が生じる。
深層学習は、医療を含む様々な応用においてその優位性を示している。
論文 参考訳（メタデータ） (2024-02-02T00:31:01Z) - IGNITE: Individualized GeNeration of Imputations in Time-series
Electronic health records [7.451873794596469]
本研究では、患者動態を学習し、個人の人口動態の特徴や治療に合わせたパーソナライズされた値を生成する新しいディープラーニングモデルを提案する。
提案モデルであるIGNITEは,2段階の注意を付加した条件付き2変分オートエンコーダを用いて,個人に対して欠落した値を生成する。
IGNITEは,データ再構成の欠如やタスク予測において,最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-01-09T07:57:21Z) - MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data
Augmentation [58.93221876843639]
本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。
トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。
ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
論文 参考訳（メタデータ） (2023-10-04T01:36:30Z) - Integrated Convolutional and Recurrent Neural Networks for Health Risk
Prediction using Patient Journey Data with Many Missing Values [9.418011774179794]
本稿では,統合畳み込みニューラルネットワークとリカレントニューラルネットワークを用いたEMH患者旅行データモデリングのためのエンドツーエンドアプローチを提案する。
本モデルでは,各患者旅行における長期的・短期的時間的パターンを抽出し,インパルスデータ生成を伴わずに,高レベルのEHRデータの欠落を効果的に処理することができる。
論文 参考訳（メタデータ） (2022-11-11T07:36:18Z) - COPER: Continuous Patient State Perceiver [13.735956129637945]
本研究では,ERHにおける不規則な時系列に対処するため,COPERと呼ばれる新規患者状態パーセンシバーモデルを提案する。
ニューラル常微分方程式(ODE)は、COPERが通常の時系列を生成してPerceiverモデルに供給するのに役立ちます。
提案モデルの性能評価には,MIMIC-IIIデータセット上での院内死亡予測タスクを用いる。
論文 参考訳（メタデータ） (2022-08-05T14:32:57Z) - Unsupervised Pre-Training on Patient Population Graphs for Patient-Level
Predictions [48.02011627390706]
プレトレーニングは、コンピュータビジョン(CV)、自然言語処理(NLP)、医療画像など、機械学習のさまざまな分野で成功している。
本稿では,患者結果の予測のために,教師なし事前学習を異種マルチモーダルEHRデータに適用する。
提案手法は,人口レベルでのデータモデリングに有効であることがわかった。
論文 参考訳（メタデータ） (2022-03-23T17:59:45Z) - Generating Synthetic Mixed-type Longitudinal Electronic Health Records
for Artificial Intelligent Applications [9.374416143268892]
EHR-M-GAN (Generative Adversarial Network, GAN) は、EHRデータを合成する。
EHR-M-GANは,141,488名の患者を対象とし,3つの公用集中治療単位データベース上で検証した。
論文 参考訳（メタデータ） (2021-12-22T17:17:34Z) - Self-Supervised Graph Learning with Hyperbolic Embedding for Temporal
Health Event Prediction [13.24834156675212]
本稿では,情報フローを組み込んだハイパーボリック埋め込み手法を提案する。
我々は、これらの事前学習された表現をグラフニューラルネットワークに組み込んで、疾患の合併症を検出する。
本稿では,EHRデータを完全に活用する自己教師付き学習フレームワークに,階層型で強化された履歴予測代行タスクを提案する。
論文 参考訳（メタデータ） (2021-06-09T00:42:44Z) - Bootstrapping Your Own Positive Sample: Contrastive Learning With
Electronic Health Record Data [62.29031007761901]
本稿では,新しいコントラスト型正規化臨床分類モデルを提案する。
EHRデータに特化した2つのユニークなポジティブサンプリング戦略を紹介します。
私たちのフレームワークは、現実世界のCOVID-19 EHRデータの死亡リスクを予測するために、競争の激しい実験結果をもたらします。
論文 参考訳（メタデータ） (2021-04-07T06:02:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。