論文の概要: CAAT-EHR: Cross-Attentional Autoregressive Transformer for Multimodal Electronic Health Record Embeddings

• arxiv url: http://arxiv.org/abs/2501.18891v1
• Date: Fri, 31 Jan 2025 05:00:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:01:24.395188
• Title: CAAT-EHR: Cross-Attentional Autoregressive Transformer for Multimodal Electronic Health Record Embeddings
• Title（参考訳）: CAAT-EHR:マルチモーダル電子健康記録埋め込み用クロスアテンショナル自己回帰変換器
• Authors: Mohammad Al Olaimat, Serdar Bozdag,
• Abstract要約: 本稿では,タスク非依存の縦埋め込みを生のEHRデータから生成する新しいアーキテクチャであるCAAT-EHRを紹介する。 自己回帰デコーダは、事前訓練中に将来の時刻データを予測してエンコーダを補完し、その結果の埋め込みが時間的整合性と整合性を維持する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Electronic health records (EHRs) provide a comprehensive source of longitudinal patient data, encompassing structured modalities such as laboratory results, imaging data, and vital signs, and unstructured clinical notes. These datasets, after necessary preprocessing to clean and format the data for analysis, often remain in their raw EHR form, representing numerical or categorical values without further transformation into task-agnostic embeddings. While such raw EHR data enables predictive modeling, its reliance on manual feature engineering or downstream task-specific optimization limits its utility for general-purpose applications. Deep learning (DL) techniques, such as recurrent neural networks (RNNs) and Transformers, have facilitated predictive tasks like disease progression and diagnosis prediction. However, these methods often struggle to fully exploit the temporal and multimodal dependencies inherent in EHR data due to their reliance on pre-processed but untransformed raw EHR inputs. In this study, we introduce CAAT-EHR, a novel architecture designed to bridge this gap by generating robust, task-agnostic longitudinal embeddings from raw EHR data. CAAT-EHR leverages self- and cross-attention mechanisms in its encoder to integrate temporal and contextual relationships across multiple modalities, transforming the data into enriched embeddings that capture complex dependencies. An autoregressive decoder complements the encoder by predicting future time points data during pre-training, ensuring that the resulting embeddings maintain temporal consistency and alignment. CAAT-EHR eliminates the need for manual feature engineering and enables seamless transferability across diverse downstream tasks. Extensive evaluations on benchmark datasets, demonstrate the superiority of CAAT-EHR-generated embeddings over pre-processed raw EHR data and other baseline approaches.
• Abstract（参考訳）: 電子健康記録(EHR)は、実験結果、画像データ、バイタルサイン、および非構造化臨床ノートなどの構造化されたモダリティを含む、慢性的な患者データの包括的情報源を提供する。 これらのデータセットは、分析のためのデータのクリーニングとフォーマットに必要な前処理の後、多くの場合、タスクに依存しない埋め込みに変換することなく、数値またはカテゴリの値を表す、生のEHR形式に留まる。 このような生のEHRデータは予測モデリングを可能にするが、手動の特徴工学やダウンストリームタスク固有の最適化に依存しているため、汎用アプリケーションでは実用性が制限される。 リカレントニューラルネットワーク(RNN)やトランスフォーマーなどのディープラーニング(DL)技術は、疾患の進行や診断予測といった予測タスクを促進している。 しかしながら、これらの手法は、前処理されるが、未変換の生のEHR入力に依存するため、EHRデータに固有の時間的およびマルチモーダルな依存関係を完全に活用するのに苦労することが多い。 本研究では,このギャップを埋めるための新しいアーキテクチャであるCAAT-EHRを紹介する。 CAAT-EHRは、エンコーダ内の自己および横断的なメカニズムを活用して、複数のモードにわたる時間的および文脈的関係を統合し、複雑な依存関係をキャプチャするエンリッチな埋め込みに変換する。 自己回帰デコーダは、事前訓練中に将来の時刻データを予測してエンコーダを補完し、その結果の埋め込みが時間的整合性と整合性を維持する。 CAAT-EHRは、手動の機能エンジニアリングの必要性を排除し、さまざまな下流タスク間のシームレスな転送を可能にする。 ベンチマークデータセットの大規模な評価は、事前処理された生のEHRデータや他のベースラインアプローチよりもCAAT-EHR生成の埋め込みの方が優れていることを示している。

関連論文リスト

• Self-Supervised Pre-Training with Joint-Embedding Predictive Architecture Boosts ECG Classification Performance [0.0]
  10のパブリックECGデータベースを組み合わせることで、教師なしの大規模な事前トレーニングデータセットを作成します。 我々は、このデータセットでJEPAを使用してVision Transformerを事前トレーニングし、様々なTB-XLベンチマークでそれらを微調整する。
  論文  参考訳（メタデータ） (2024-10-02T08:25:57Z)
• Dynamic Data Pruning for Automatic Speech Recognition [58.95758272440217]
  ASR(DDP-ASR)のダイナミック・データ・プルーニング(Dynamic Data Pruning for ASR)を導入し,音声関連データセットに特化して微細なプルーニングの粒度を提供する。 実験の結果,DDP-ASRは最大1.6倍のトレーニング時間を節約できることがわかった。
  論文  参考訳（メタデータ） (2024-06-26T14:17:36Z)
• Synthesizing Multimodal Electronic Health Records via Predictive Diffusion Models [69.06149482021071]
  EHRPDと呼ばれる新しいEHRデータ生成モデルを提案する。 時間間隔推定を組み込んだ拡散モデルである。 我々は2つの公開データセットで実験を行い、忠実さ、プライバシー、実用性の観点からEPHPDを評価する。
  論文  参考訳（メタデータ） (2024-06-20T02:20:23Z)
• Computationally and Memory-Efficient Robust Predictive Analytics Using Big Data [0.0]
  本研究では、データ不確実性、ストレージ制限、ビッグデータを用いた予測データ駆動モデリングの課題をナビゲートする。 本稿では,ロバスト主成分分析(RPCA)を有効ノイズ低減と外乱除去に利用し,最適センサ配置(OSP)を効率的なデータ圧縮・記憶に活用する。
  論文  参考訳（メタデータ） (2024-03-27T22:39:08Z)
• Knowledge Enhanced Conditional Imputation for Healthcare Time-series [9.937117045677923]
  Conditional Self-Attention Imputation (CSAI)は、複雑な欠落データパターンの課題に対処するために設計された、新しいリカレントニューラルネットワークアーキテクチャである。 CSAIは、EHRデータ特性に特化して、現在の最先端のニューラルネットワークベースの計算手法を拡張している。 この研究は、アルゴリズム的計算を臨床的現実とより緊密に整合させることにより、ERHに適用されるニューラルネットワーク計算の状態を著しく改善する。
  論文  参考訳（メタデータ） (2023-12-27T20:42:40Z)
• MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data Augmentation [58.93221876843639]
  本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。 トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。 ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
  論文  参考訳（メタデータ） (2023-10-04T01:36:30Z)
• Unsupervised Pre-Training on Patient Population Graphs for Patient-Level Predictions [48.02011627390706]
  プレトレーニングは、コンピュータビジョン(CV)、自然言語処理(NLP)、医療画像など、機械学習のさまざまな分野で成功している。 本稿では,患者結果の予測のために,教師なし事前学習を異種マルチモーダルEHRデータに適用する。 提案手法は,人口レベルでのデータモデリングに有効であることがわかった。
  論文  参考訳（メタデータ） (2022-03-23T17:59:45Z)
• Generating Synthetic Mixed-type Longitudinal Electronic Health Records for Artificial Intelligent Applications [9.374416143268892]
  EHR-M-GAN (Generative Adversarial Network, GAN) は、EHRデータを合成する。 EHR-M-GANは,141,488名の患者を対象とし,3つの公用集中治療単位データベース上で検証した。
  論文  参考訳（メタデータ） (2021-12-22T17:17:34Z)
• SANSformers: Self-Supervised Forecasting in Electronic Health Records with Attention-Free Models [48.07469930813923]
  本研究は,医療施設への患者訪問数を予測することにより,医療サービスの需要を予測することを目的とする。 SNSformerは、特定の帰納バイアスを設計し、EHRデータの特異な特徴を考慮に入れた、注意のない逐次モデルである。 本研究は, 各種患者集団を対象とした医療利用予測の修正における, 注意力のないモデルと自己指導型事前訓練の有望な可能性について考察した。
  論文  参考訳（メタデータ） (2021-08-31T08:23:56Z)
• Bootstrapping Your Own Positive Sample: Contrastive Learning With Electronic Health Record Data [62.29031007761901]
  本稿では,新しいコントラスト型正規化臨床分類モデルを提案する。 EHRデータに特化した2つのユニークなポジティブサンプリング戦略を紹介します。 私たちのフレームワークは、現実世界のCOVID-19 EHRデータの死亡リスクを予測するために、競争の激しい実験結果をもたらします。
  論文  参考訳（メタデータ） (2021-04-07T06:02:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。