論文の概要: SANSformers: Self-Supervised Forecasting in Electronic Health Records
with Attention-Free Models
- arxiv url: http://arxiv.org/abs/2108.13672v4
- Date: Fri, 10 Nov 2023 11:11:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-13 18:52:31.986837
- Title: SANSformers: Self-Supervised Forecasting in Electronic Health Records
with Attention-Free Models
- Title（参考訳）: SANSformers:無意識モデルによる電子健康記録の自己監督型予測
- Authors: Yogesh Kumar, Alexander Ilin, Henri Salo, Sangita Kulathinal, Maarit
K. Leinonen, Pekka Marttinen
- Abstract要約: 本研究は,医療施設への患者訪問数を予測することにより,医療サービスの需要を予測することを目的とする。
SNSformerは、特定の帰納バイアスを設計し、EHRデータの特異な特徴を考慮に入れた、注意のない逐次モデルである。
本研究は, 各種患者集団を対象とした医療利用予測の修正における, 注意力のないモデルと自己指導型事前訓練の有望な可能性について考察した。
- 参考スコア（独自算出の注目度）: 48.07469930813923
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the proven effectiveness of Transformer neural networks across
multiple domains, their performance with Electronic Health Records (EHR) can be
nuanced. The unique, multidimensional sequential nature of EHR data can
sometimes make even simple linear models with carefully engineered features
more competitive. Thus, the advantages of Transformers, such as efficient
transfer learning and improved scalability are not always fully exploited in
EHR applications. Addressing these challenges, we introduce SANSformer, an
attention-free sequential model designed with specific inductive biases to
cater for the unique characteristics of EHR data.
In this work, we aim to forecast the demand for healthcare services, by
predicting the number of patient visits to healthcare facilities. The challenge
amplifies when dealing with divergent patient subgroups, like those with rare
diseases, which are characterized by unique health trajectories and are
typically smaller in size. To address this, we employ a self-supervised
pretraining strategy, Generative Summary Pretraining (GSP), which predicts
future summary statistics based on past health records of a patient. Our models
are pretrained on a health registry of nearly one million patients, then
fine-tuned for specific subgroup prediction tasks, showcasing the potential to
handle the multifaceted nature of EHR data.
In evaluation, SANSformer consistently surpasses robust EHR baselines, with
our GSP pretraining method notably amplifying model performance, particularly
within smaller patient subgroups. Our results illuminate the promising
potential of tailored attention-free models and self-supervised pretraining in
refining healthcare utilization predictions across various patient
demographics.
- Abstract（参考訳）: 複数の領域にまたがるトランスフォーマリンニューラルネットワークの有効性は証明されているものの、電子健康記録(ehr)による性能はニュアンス可能である。
EHRデータのユニークな多次元シーケンシャルな性質は、慎重に設計された特徴を持つ単純な線形モデルさえもより競争力のあるものにすることができる。
したがって、効率的なトランスファー学習やスケーラビリティ向上といったトランスフォーマーの利点は、EHRアプリケーションで完全に活用されるとは限らない。
これらの課題に対処するため,我々は,特定の帰納的バイアスを考慮した無注意シーケンシャルモデルであるsansformerを導入する。
本研究では,医療施設への患者訪問数を予測し,医療サービスの需要を予測することを目的とする。
この課題は、稀な疾患を持つ患者グループのような、異なる患者サブグループを扱う際に増幅される。
そこで本研究では,患者の過去の健康記録から将来の要約統計を予測する,自己教師による事前訓練戦略gsp(generative summary pretraining)を採用している。
我々のモデルは、100万人近い患者の健康レジストリに事前トレーニングされ、その後、特定のサブグループ予測タスクに微調整され、EHRデータの多面的性質を扱う可能性を示している。
評価において、sansformerは一貫してロバストなehrベースラインを超えており、gspプリトレーニング法は特に小さな患者サブグループにおいて特にモデル性能を増幅している。
本研究は, 各種患者集団を対象とした医療利用予測の調整と自己指導型プレトレーニングの可能性について考察した。
関連論文リスト
- Synthesizing Multimodal Electronic Health Records via Predictive Diffusion Models [69.06149482021071]
EHRPDと呼ばれる新しいEHRデータ生成モデルを提案する。
時間間隔推定を組み込んだ拡散モデルである。
我々は2つの公開データセットで実験を行い、忠実さ、プライバシー、実用性の観点からEPHPDを評価する。
論文 参考訳（メタデータ） (2024-06-20T02:20:23Z) - Recent Advances in Predictive Modeling with Electronic Health Records [71.19967863320647]
EHRデータを予測モデリングに利用すると、その特徴からいくつかの課題が生じる。
深層学習は、医療を含む様々な応用においてその優位性を示している。
論文 参考訳（メタデータ） (2024-02-02T00:31:01Z) - IGNITE: Individualized GeNeration of Imputations in Time-series
Electronic health records [7.451873794596469]
本研究では、患者動態を学習し、個人の人口動態の特徴や治療に合わせたパーソナライズされた値を生成する新しいディープラーニングモデルを提案する。
提案モデルであるIGNITEは,2段階の注意を付加した条件付き2変分オートエンコーダを用いて,個人に対して欠落した値を生成する。
IGNITEは,データ再構成の欠如やタスク予測において,最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-01-09T07:57:21Z) - MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data
Augmentation [58.93221876843639]
本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。
トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。
ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
論文 参考訳（メタデータ） (2023-10-04T01:36:30Z) - Integrated Convolutional and Recurrent Neural Networks for Health Risk
Prediction using Patient Journey Data with Many Missing Values [9.418011774179794]
本稿では,統合畳み込みニューラルネットワークとリカレントニューラルネットワークを用いたEMH患者旅行データモデリングのためのエンドツーエンドアプローチを提案する。
本モデルでは,各患者旅行における長期的・短期的時間的パターンを抽出し,インパルスデータ生成を伴わずに,高レベルのEHRデータの欠落を効果的に処理することができる。
論文 参考訳（メタデータ） (2022-11-11T07:36:18Z) - COPER: Continuous Patient State Perceiver [13.735956129637945]
本研究では,ERHにおける不規則な時系列に対処するため,COPERと呼ばれる新規患者状態パーセンシバーモデルを提案する。
ニューラル常微分方程式(ODE)は、COPERが通常の時系列を生成してPerceiverモデルに供給するのに役立ちます。
提案モデルの性能評価には,MIMIC-IIIデータセット上での院内死亡予測タスクを用いる。
論文 参考訳（メタデータ） (2022-08-05T14:32:57Z) - Unsupervised Pre-Training on Patient Population Graphs for Patient-Level
Predictions [48.02011627390706]
プレトレーニングは、コンピュータビジョン(CV)、自然言語処理(NLP)、医療画像など、機械学習のさまざまな分野で成功している。
本稿では,患者結果の予測のために,教師なし事前学習を異種マルチモーダルEHRデータに適用する。
提案手法は,人口レベルでのデータモデリングに有効であることがわかった。
論文 参考訳（メタデータ） (2022-03-23T17:59:45Z) - Generating Synthetic Mixed-type Longitudinal Electronic Health Records
for Artificial Intelligent Applications [9.374416143268892]
EHR-M-GAN (Generative Adversarial Network, GAN) は、EHRデータを合成する。
EHR-M-GANは,141,488名の患者を対象とし,3つの公用集中治療単位データベース上で検証した。
論文 参考訳（メタデータ） (2021-12-22T17:17:34Z) - Self-Supervised Graph Learning with Hyperbolic Embedding for Temporal
Health Event Prediction [13.24834156675212]
本稿では,情報フローを組み込んだハイパーボリック埋め込み手法を提案する。
我々は、これらの事前学習された表現をグラフニューラルネットワークに組み込んで、疾患の合併症を検出する。
本稿では,EHRデータを完全に活用する自己教師付き学習フレームワークに,階層型で強化された履歴予測代行タスクを提案する。
論文 参考訳（メタデータ） (2021-06-09T00:42:44Z) - Bootstrapping Your Own Positive Sample: Contrastive Learning With
Electronic Health Record Data [62.29031007761901]
本稿では,新しいコントラスト型正規化臨床分類モデルを提案する。
EHRデータに特化した2つのユニークなポジティブサンプリング戦略を紹介します。
私たちのフレームワークは、現実世界のCOVID-19 EHRデータの死亡リスクを予測するために、競争の激しい実験結果をもたらします。
論文 参考訳（メタデータ） (2021-04-07T06:02:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。