論文の概要: Interpretable Pre-Trained Transformers for Heart Time-Series Data
- arxiv url: http://arxiv.org/abs/2407.20775v1
- Date: Tue, 30 Jul 2024 12:22:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 17:19:48.802263
- Title: Interpretable Pre-Trained Transformers for Heart Time-Series Data
- Title(参考訳): 心的時系列データのための解釈可能な事前学習変換器
- Authors: Harry J. Davies, James Monsen, Danilo P. Mandic,
- Abstract要約: 我々は、PTG-PTとECG-PTという2つの訓練済み汎用心臓モデルを作成する。
このような事前学習されたモデルが完全に解釈可能であることを実証する。
また, 心房細動の分類などのタスクにおいて, これらの事前訓練モデルを簡単に微調整できることが実証された。
- 参考スコア(独自算出の注目度): 15.377534937558744
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decoder-only transformers are the backbone of the popular generative pre-trained transformer (GPT) series of large language models. In this work, we apply the same framework to periodic heart time-series data to create two pre-trained general purpose cardiac models, namely PPG-PT and ECG-PT. We demonstrate that both such pre-trained models are fully interpretable. This is achieved firstly through aggregate attention maps which show that the model focuses on similar points in previous cardiac cycles in order to make predictions and gradually broadens its attention in deeper layers. Next, tokens with the same value, that occur at different distinct points in the ECG and PPG cycle, form separate clusters in high dimensional space based on their phase as they propagate through the transformer blocks. Finally, we highlight that individual attention heads respond to specific physiologically relevent features, such as the dicrotic notch in PPG and the P-wave in ECG. It is also demonstrated that these pre-trained models can be easily fine-tuned for tasks such as classification of atrial fibrillation. In this specific example, the fine-tuning took 11 minutes of computer time, and achieved a leave-one-subject-out AUCs of 0.99 and 0.93 for ECG and PPG respectively. Importantly, these fine-tuned models are also fully explainable, with attention shifting to regions in the context that are strongly indicative of atrial fibrillation.
- Abstract(参考訳): デコーダのみのトランス (Decoder-only transformer) は、大規模言語モデルの一般的な生成事前学習トランス (GPT) シリーズのバックボーンである。
本研究では、周期的心拍データに同じ枠組みを適用し、PTG-PTとECG-PTの2つのトレーニング済み汎用心臓モデルを作成する。
このような事前学習されたモデルが完全に解釈可能であることを実証する。
これはまずアグリゲーション・アテンション・マップ(英語版)を用いて達成され、このモデルが予測を行い、より深い層で徐々に注意を拡げるために、過去の心循環の類似点に焦点を当てていることを示す。
次に、同じ値のトークンは、ECG と PPG のサイクルの異なる点で発生し、変圧器ブロックを伝播するにつれて、その位相に基づいて高次元空間の別個のクラスタを形成する。
最後に, PPGのジクロティックノッチや心電図のP波など, 個々の注意が生理的変化に反応することを明らかにする。
また, 心房細動の分類などのタスクにおいて, これらの事前訓練モデルを簡単に微調整できることが実証された。
この具体例では、微調整はコンピュータ時間11分を要し、それぞれECGとPSGで0.99と0.93の単射AUCを達成した。
重要なことに、これらの微調整モデルも完全に説明可能であり、心房細動を強く示唆する文脈の領域に注意が移る。
関連論文リスト
- PulseNet: Deep Learning ECG-signal classification using random
augmentation policy and continous wavelet transform for canines [46.09869227806991]
犬心電図(ECG)の評価には熟練した獣医が必要である。
心電図の解釈と診断支援のための獣医師の現在の利用状況は限られている。
犬の心電図配列を正常または異常と分類するためのディープ畳み込みニューラルネットワーク(CNN)アプローチを実装した。
論文 参考訳(メタデータ) (2023-05-17T09:06:39Z) - PhysFormer++: Facial Video-based Physiological Measurement with SlowFast
Temporal Difference Transformer [76.40106756572644]
最近のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙な手がかりのマイニングに重点を置いている。
本稿では,PhysFormerとPhys++++をベースとした2つのエンドツーエンドビデオ変換器を提案する。
4つのベンチマークデータセットで総合的な実験を行い、時間内テストとクロスデータセットテストの両方において優れた性能を示す。
論文 参考訳(メタデータ) (2023-02-07T15:56:03Z) - HeartBEiT: Vision Transformer for Electrocardiogram Data Improves
Diagnostic Performance at Low Sample Sizes [28.88454028731653]
心電図波形解析のための第1の視覚ベーストランスモデルHeartBEiTを開発した。
その結果,HeartBEiTは,他のモデルに比べて試料サイズが小さく,高い性能を示した。
また、HeartBEiTは、EKGと標準CNNの生物学的関連領域を強調することにより、診断の説明可能性を向上させることを示した。
論文 参考訳(メタデータ) (2022-12-13T16:39:21Z) - Prior Knowledge-Guided Attention in Self-Supervised Vision Transformers [79.60022233109397]
本研究では、未ラベル画像データセットにおける一貫した空間的・意味的構造を利用するフレームワークである空間的事前注意(SPAN)を提案する。
SPANは、アテンションマスクを別個のトランスフォーマーヘッドから正規化し、セマンティック領域の様々な先導に従う。
その結果,アテンションマスクは,ドメインに依存しない事前学習から得られるマスクよりも解釈可能であることが判明した。
論文 参考訳(メタデータ) (2022-09-07T02:30:36Z) - Performer: A Novel PPG to ECG Reconstruction Transformer For a Digital
Biomarker of Cardiovascular Disease Detection [0.0]
心臓血管疾患(CVD)は死因の上位1つとなり、これらの死亡の4分の3は低所得層で発生している。
心電図 (ECG) は, ユーザ参加の必要性から, 連続心臓モニタリングには有効ではない。
フォトプレチスモグラフィーは容易に収集できるが、精度の制限により臨床応用は制限される。
論文 参考訳(メタデータ) (2022-04-25T17:10:13Z) - Global ECG Classification by Self-Operational Neural Networks with
Feature Injection [25.15075119957447]
コンパクトな1次元自己組織化オペレーショナルニューラルネットワーク(Self-ONN)を用いた患者間心電図分類のための新しいアプローチを提案する。
我々は1D Self-ONN層を用いてECGデータから形態表現を自動的に学習し、Rピーク付近のECG波形の形状を捉えることができた。
提案手法は,MIT-BIH ベンチマークデータベースを用いて,これまでで最高の分類性能を達成している。
論文 参考訳(メタデータ) (2022-04-07T22:49:18Z) - Runtime Monitoring and Statistical Approaches for Correlation Analysis
of ECG and PPG [3.9526036279093937]
ECGとPSGは同じ現象に「異なる窓」を与える信号である。
ECG と PPG は別々に使用されるが、異なる ECG と PPG の事象の正確な補正についての研究は行われていない。
本稿では,ECG と PPG 信号の鍵となる関係を正式に確立するための最初のアプローチを提案する。
論文 参考訳(メタデータ) (2022-01-20T08:01:45Z) - Generalizing electrocardiogram delineation: training convolutional
neural networks with synthetic data augmentation [63.51064808536065]
ECGのデライン化のための既存のデータベースは小さく、サイズやそれらが表す病態の配列に不足している。
まず、原データベースから抽出した基本セグメントのプールを与えられたECGトレースを確率的に合成し、その整合性のある合成トレースに配置するための一連のルールを考案した。
第二に、2つの新しいセグメンテーションに基づく損失関数が開発され、これは、正確な数の独立構造の予測を強制し、サンプル数の削減に焦点をあてて、より密接なセグメンテーション境界を創出することを目的としている。
論文 参考訳(メタデータ) (2021-11-25T10:11:41Z) - PhysFormer: Facial Video-based Physiological Measurement with Temporal
Difference Transformer [55.936527926778695]
近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。
本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
論文 参考訳(メタデータ) (2021-11-23T18:57:11Z) - Multilabel 12-Lead Electrocardiogram Classification Using Gradient
Boosting Tree Ensemble [64.29529357862955]
我々は,心電図の診断を分類するために,形態や信号処理機能に適合した勾配強化木のアンサンブルを用いたアルゴリズムを構築した。
各リードについて、心拍変動、PQRSTテンプレート形状、全信号波形から特徴を導出する。
各クラスに属するECGインスタンスの確率を予測するため、全12項目の特徴と合わせて、勾配を増す決定ツリーの集合に適合する。
論文 参考訳(メタデータ) (2020-10-21T18:11:36Z) - CardioGAN: Attentive Generative Adversarial Network with Dual
Discriminators for Synthesis of ECG from PPG [25.305949034527202]
心電図(Electrocardiogram、ECG)は、心臓活動の電気的測定である。
光胸腺X線写真(英: Photoplethysmogram, PPG)は、血液循環の変化の光学的測定である。
本稿では、PSGを入力とし、ECGを出力として生成する逆モデルであるCardioGANを提案する。
論文 参考訳(メタデータ) (2020-09-30T20:49:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。