論文の概要: HyMaTE: A Hybrid Mamba and Transformer Model for EHR Representation Learning

• arxiv url: http://arxiv.org/abs/2509.24118v1
• Date: Sun, 28 Sep 2025 23:24:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.643795
• Title: HyMaTE: A Hybrid Mamba and Transformer Model for EHR Representation Learning
• Title（参考訳）: HyMaTE: EHR表現学習のためのハイブリッドマンバとトランスフォーマーモデル
• Authors: Md Mozaharul Mottalib, Thao-Ly T. Phan, Rahmatollah Beheshti,
• Abstract要約: 縦型データ表現に適したハイブリッドモデルであるHyMaTE(HyMaTE:HyMaba and Transformer Model for EHR Representation Learning)を提案する。 複数の臨床データセット上の予測タスクでモデルをテストすることにより、HyMaTEがより効果的で、よりリッチで、よりニュアンスに統一されたEHRデータの表現をキャプチャする能力を示す。
• 参考スコア（独自算出の注目度）: 5.375639908061981
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Electronic health Records (EHRs) have become a cornerstone in modern-day healthcare. They are a crucial part for analyzing the progression of patient health; however, their complexity, characterized by long, multivariate sequences, sparsity, and missing values poses significant challenges in traditional deep learning modeling. While Transformer-based models have demonstrated success in modeling EHR data and predicting clinical outcomes, their quadratic computational complexity and limited context length hinder their efficiency and practical applications. On the other hand, State Space Models (SSMs) like Mamba present a promising alternative offering linear-time sequence modeling and improved efficiency for handling long sequences, but focus mostly on mixing sequence-level information rather than channel-level data. To overcome these challenges, we propose HyMaTE (A Hybrid Mamba and Transformer Model for EHR Representation Learning), a novel hybrid model tailored for representing longitudinal data, combining the strengths of SSMs with advanced attention mechanisms. By testing the model on predictive tasks on multiple clinical datasets, we demonstrate HyMaTE's ability to capture an effective, richer, and more nuanced unified representation of EHR data. Additionally, the interpretability of the outcomes achieved by self-attention illustrates the effectiveness of our model as a scalable and generalizable solution for real-world healthcare applications. Codes are available at: https://github.com/healthylaife/HyMaTE.
• Abstract（参考訳）: 電子健康記録(EHR)は現代医療の基盤となっている。 それらは患者の健康の進行を分析する上で重要な要素であるが、その複雑さは、長い多変量列、スパーシリティ、そして欠落した値によって特徴づけられ、伝統的なディープラーニングモデリングにおいて重大な課題を招いている。 トランスフォーマーをベースとしたモデルは、EHRデータのモデリングや臨床結果の予測に成功しているが、その2次計算の複雑さと文脈長の制限は、その効率と実用性を妨げている。 一方、Mambaのような状態空間モデル(SSM)は、線形時間シーケンスモデリングと長いシーケンスの処理効率の改善を提供する有望な代替手段を提供するが、主にチャネルレベルのデータではなくシーケンスレベルの情報を混合することに焦点を当てている。 これらの課題を克服するために,SSMの強みと高度な注意機構を組み合わせた長手データ表現に適したハイブリッドモデルであるHyMaTE(HyMaTE:ハイブリッドマンバ・トランスフォーマーモデル)を提案する。 複数の臨床データセット上の予測タスクでモデルをテストすることにより、HyMaTEがより効果的で、よりリッチで、よりニュアンスに統一されたEHRデータの表現をキャプチャする能力を示す。 さらに、自己注意によって達成された結果の解釈可能性から、現実の医療アプリケーションに対するスケーラブルで一般化可能なソリューションとして、我々のモデルの有効性が示されています。 コードは、https://github.com/healthylaife/HyMaTE.comで入手できる。

関連論文リスト

• Synthesizing Multimodal Electronic Health Records via Predictive Diffusion Models [69.06149482021071]
  EHRPDと呼ばれる新しいEHRデータ生成モデルを提案する。 時間間隔推定を組み込んだ拡散モデルである。 我々は2つの公開データセットで実験を行い、忠実さ、プライバシー、実用性の観点からEPHPDを評価する。
  論文  参考訳（メタデータ） (2024-06-20T02:20:23Z)
• Towards Precision Healthcare: Robust Fusion of Time Series and Image Data [8.579651833717763]
  本稿では,データの種類毎に2つのエンコーダを用いて,視覚情報と時間情報の両方において複雑なパターンをモデル化する手法を提案する。 また、不均衡なデータセットに対処し、不確実性損失関数を使用し、改善した結果を得る。 本手法は,臨床応用におけるマルチモーダルディープラーニングの改善に有効であることを示す。
  論文  参考訳（メタデータ） (2024-05-24T11:18:13Z)
• EHRMamba: Towards Generalizable and Scalable Foundation Models for Electronic Health Records [4.540391547020466]
  我々は,Mambaアーキテクチャ上に構築された堅牢な基盤モデルであるEHRMambaを紹介する。 EHRデータに対するMPF(Multitask Prompted Finetuning)の新たなアプローチを導入し,EHRMambaが単一ファインタニングフェーズで複数の臨床タスクを同時に学習できるようにする。 MIMIC-IVデータセットを用いて評価したところ, EHRMambaは6つの主要な臨床課題にまたがって最先端の成績を向上し, EHR予測に優れており, この分野における飛躍的な進歩を示している。
  論文  参考訳（メタデータ） (2024-05-23T13:43:29Z)
• MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data Augmentation [58.93221876843639]
  本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。 トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。 ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
  論文  参考訳（メタデータ） (2023-10-04T01:36:30Z)
• Synthesize High-dimensional Longitudinal Electronic Health Records via Hierarchical Autoregressive Language Model [40.473866438962034]
  合成電子健康記録は、機械学習(ML)モデリングと統計解析のための実際のEHRの代替として機能することができる。 階層型自己回帰言語mOdel(HALO)を提案する。
  論文  参考訳（メタデータ） (2023-04-04T23:53:34Z)
• Generating Synthetic Mixed-type Longitudinal Electronic Health Records for Artificial Intelligent Applications [9.374416143268892]
  EHR-M-GAN (Generative Adversarial Network, GAN) は、EHRデータを合成する。 EHR-M-GANは,141,488名の患者を対象とし,3つの公用集中治療単位データベース上で検証した。
  論文  参考訳（メタデータ） (2021-12-22T17:17:34Z)
• SANSformers: Self-Supervised Forecasting in Electronic Health Records with Attention-Free Models [48.07469930813923]
  本研究は,医療施設への患者訪問数を予測することにより,医療サービスの需要を予測することを目的とする。 SNSformerは、特定の帰納バイアスを設計し、EHRデータの特異な特徴を考慮に入れた、注意のない逐次モデルである。 本研究は, 各種患者集団を対象とした医療利用予測の修正における, 注意力のないモデルと自己指導型事前訓練の有望な可能性について考察した。
  論文  参考訳（メタデータ） (2021-08-31T08:23:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。