論文の概要: DuETT: Dual Event Time Transformer for Electronic Health Records
- arxiv url: http://arxiv.org/abs/2304.13017v2
- Date: Tue, 15 Aug 2023 21:02:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-17 17:00:54.929418
- Title: DuETT: Dual Event Time Transformer for Electronic Health Records
- Title(参考訳): duett: 電子健康記録用のデュアルイベントタイムトランスフォーマー
- Authors: Alex Labach, Aslesha Pokhrel, Xiao Shi Huang, Saba Zuberi, Seung Eun
Yi, Maksims Volkovs, Tomi Poutanen, Rahul G. Krishnan
- Abstract要約: 我々はDuETTアーキテクチャを紹介した。これは、時間とイベントの両タイプにまたがるように設計されたトランスフォーマーの拡張である。
DuETTは集約された入力を使用し、スパース時系列は一定長さの正規シーケンスに変換される。
本モデルでは,MIMIC-IV と PhysioNet-2012 EHR データセットを用いて,複数の下流タスクにおける最先端のディープラーニングモデルより優れています。
- 参考スコア(独自算出の注目度): 14.520791492631114
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Electronic health records (EHRs) recorded in hospital settings typically
contain a wide range of numeric time series data that is characterized by high
sparsity and irregular observations. Effective modelling for such data must
exploit its time series nature, the semantic relationship between different
types of observations, and information in the sparsity structure of the data.
Self-supervised Transformers have shown outstanding performance in a variety of
structured tasks in NLP and computer vision. But multivariate time series data
contains structured relationships over two dimensions: time and recorded event
type, and straightforward applications of Transformers to time series data do
not leverage this distinct structure. The quadratic scaling of self-attention
layers can also significantly limit the input sequence length without
appropriate input engineering. We introduce the DuETT architecture, an
extension of Transformers designed to attend over both time and event type
dimensions, yielding robust representations from EHR data. DuETT uses an
aggregated input where sparse time series are transformed into a regular
sequence with fixed length; this lowers the computational complexity relative
to previous EHR Transformer models and, more importantly, enables the use of
larger and deeper neural networks. When trained with self-supervised prediction
tasks, that provide rich and informative signals for model pre-training, our
model outperforms state-of-the-art deep learning models on multiple downstream
tasks from the MIMIC-IV and PhysioNet-2012 EHR datasets.
- Abstract(参考訳): 病院で記録された電子健康記録(ehrs)は、通常、高いスパーシティと不規則な観察によって特徴づけられる幅広い数値時系列データを含んでいる。
このようなデータの効果的なモデリングは、時系列の性質、異なる種類の観測のセマンティックな関係、およびデータの空間構造における情報を活用する必要がある。
自己教師付きトランスフォーマーは、nlpやコンピュータビジョンの様々な構造化タスクにおいて優れた性能を示している。
しかし、多変量時系列データには、時間と記録されたイベントタイプという2次元にわたる構造化された関係が含まれており、時系列データへのトランスフォーマーの直接的な適用は、この異なる構造を利用しない。
セルフアテンション層の二次スケーリングは、適切な入力工学を使わずに入力シーケンスの長さを著しく制限することができる。
我々は,時間型とイベント型の両方の次元に対応するように設計されたトランスフォーマーの拡張であるduettアーキテクチャを紹介し,ehlデータからロバスト表現を生成する。
DuETTは、スパース時系列が一定の長さの正規シーケンスに変換される集約された入力を使用する。これにより、従来のERHトランスフォーマーモデルと比較して計算の複雑さが低下し、より重要なことに、より大きく深いニューラルネットワークの使用が可能になる。
モデル事前学習のためのリッチで情報的な信号を提供する自己教師型予測タスクを訓練すると、MIMIC-IVおよびPhystoNet-2012 EHRデータセットから得られた複数の下流タスクにおける最先端のディープラーニングモデルよりも優れる。
関連論文リスト
- Unified Training of Universal Time Series Forecasting Transformers [110.79681024473159]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-04T20:00:45Z) - Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - The Bigger the Better? Rethinking the Effective Model Scale in Long-term
Time Series Forecasting [57.00348861248051]
時系列予測は時系列分析において重要なフロンティアである。
階層的な分解で拡張された軽量トランスフォーマーであるHDformerを紹介する。
HDformerは既存のLTSFモデルよりも優れており、パラメータは99%以上少ない。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z) - Rethinking Urban Mobility Prediction: A Super-Multivariate Time Series
Forecasting Approach [71.67506068703314]
長期の都市移動予測は、都市施設やサービスの効果的管理において重要な役割を担っている。
伝統的に、都市移動データはビデオとして構成され、経度と緯度を基本的なピクセルとして扱う。
本研究では,都市におけるモビリティ予測の新たな視点について紹介する。
都市移動データを従来のビデオデータとして単純化するのではなく、複雑な時系列と見なす。
論文 参考訳(メタデータ) (2023-12-04T07:39:05Z) - TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series
Forecasting [26.080207374930055]
本稿では,時系列表現を効果的に学習できる新しいフレームワークTEMPOを提案する。
TEMPOは、様々な領域のデータから現実世界の時間現象を動的にモデル化する機能を拡張する。
論文 参考訳(メタデータ) (2023-10-08T00:02:25Z) - FormerTime: Hierarchical Multi-Scale Representations for Multivariate
Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。
1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文 参考訳(メタデータ) (2023-02-20T07:46:14Z) - A Time Series is Worth 64 Words: Long-term Forecasting with Transformers [4.635547236305835]
本稿では,時系列予測と自己教師型表現学習のためのトランスフォーマーモデルを提案する。
i) 時系列をサブシリーズレベルのパッチに分割し、Transformerへの入力トークンとして機能させる。
PatchTSTは、SOTA Transformerベースのモデルと比較して、長期予測精度を著しく向上させることができる。
論文 参考訳(メタデータ) (2022-11-27T05:15:42Z) - Deep Cellular Recurrent Network for Efficient Analysis of Time-Series
Data with Spatial Information [52.635997570873194]
本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。
提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
論文 参考訳(メタデータ) (2021-01-12T20:08:18Z) - A Deep Structural Model for Analyzing Correlated Multivariate Time
Series [11.009809732645888]
相関した多変量時系列入力を処理できる深層学習構造時系列モデルを提案する。
モデルは、トレンド、季節性、イベントコンポーネントを明示的に学習し、抽出する。
我々は,様々な時系列データセットに関する総合的な実験を通して,そのモデルと最先端のいくつかの手法を比較した。
論文 参考訳(メタデータ) (2020-01-02T18:48:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。