論文の概要: Self-Supervised Pre-Training with Joint-Embedding Predictive Architecture Boosts ECG Classification Performance
- arxiv url: http://arxiv.org/abs/2410.13867v1
- Date: Wed, 02 Oct 2024 08:25:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-27 06:14:32.146302
- Title: Self-Supervised Pre-Training with Joint-Embedding Predictive Architecture Boosts ECG Classification Performance
- Title（参考訳）: 統合組込み予測アーキテクチャによる自己監督型事前訓練はECG分類性能を高める
- Authors: Kuba Weimann, Tim O. F. Conrad,
- Abstract要約: 10のパブリックECGデータベースを組み合わせることで、教師なしの大規模な事前トレーニングデータセットを作成します。
我々は、このデータセットでJEPAを使用してVision Transformerを事前トレーニングし、様々なTB-XLベンチマークでそれらを微調整する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Accurate diagnosis of heart arrhythmias requires the interpretation of electrocardiograms (ECG), which capture the electrical activity of the heart. Automating this process through machine learning is challenging due to the need for large annotated datasets, which are difficult and costly to collect. To address this issue, transfer learning is often employed, where models are pre-trained on large datasets and fine-tuned for specific ECG classification tasks with limited labeled data. Self-supervised learning has become a widely adopted pre-training method, enabling models to learn meaningful representations from unlabeled datasets. In this work, we explore the joint-embedding predictive architecture (JEPA) for self-supervised learning from ECG data. Unlike invariance-based methods, JEPA does not rely on hand-crafted data augmentations, and unlike generative methods, it predicts latent features rather than reconstructing input data. We create a large unsupervised pre-training dataset by combining ten public ECG databases, amounting to over one million records. We pre-train Vision Transformers using JEPA on this dataset and fine-tune them on various PTB-XL benchmarks. Our results show that JEPA outperforms existing invariance-based and generative approaches, achieving an AUC of 0.945 on the PTB-XL all statements task. JEPA consistently learns the highest quality representations, as demonstrated in linear evaluations, and proves advantageous for pre-training even in the absence of additional data.
- Abstract（参考訳）: 心臓不整脈の正確な診断には心電図(ECG)の解釈が必要である。
機械学習によるこのプロセスの自動化は、大規模な注釈付きデータセットが必要であり、収集が困難でコストがかかるため、難しい。
この問題に対処するために、トランスファーラーニングがよく使用され、モデルが大規模なデータセット上で事前トレーニングされ、ラベル付きデータに制限のある特定のECG分類タスクのために微調整される。
自己教師付き学習は、ラベルのないデータセットから意味のある表現を学習することのできる、広く採用されている事前学習手法である。
本研究では,ECGデータから自己教師付き学習を行うためのJEPA(Joint-embedding predictive Architecture)について検討する。
不変性に基づく手法とは異なり、JEPAは手作りのデータ拡張に依存しておらず、生成的手法とは異なり、入力データを再構成するのではなく、潜時的特徴を予測する。
10のパブリックECGデータベースを組み合わせることで、大規模な教師なし事前トレーニングデータセットを作成し、100万以上のレコードを生成します。
我々は、このデータセットでJEPAを使用してVision Transformerを事前トレーニングし、様々なTB-XLベンチマークでそれらを微調整する。
以上の結果から,JEPAは既存の不変および生成的アプローチよりも優れており,TB-XL全文タスクにおいて0.945のAUCを実現していることがわかった。
JEPAは、線形評価で示されているような、最高品質の表現を一貫して学習し、追加データがない場合でも事前トレーニングに有利であることを示す。
関連論文リスト
- Towards Data-Efficient Pretraining for Atomic Property Prediction [51.660835328611626]
タスク関連データセットでの事前トレーニングは、大規模な事前トレーニングと一致するか、あるいは超える可能性があることを示す。
本稿では,コンピュータビジョンのFr'echet Inception Distanceにインスパイアされた,化学類似度指数(CSI)を紹介する。
論文 参考訳（メタデータ） (2025-02-16T11:46:23Z) - CAAT-EHR: Cross-Attentional Autoregressive Transformer for Multimodal Electronic Health Record Embeddings [0.0]
本稿では,タスク非依存の縦埋め込みを生のEHRデータから生成する新しいアーキテクチャであるCAAT-EHRを紹介する。
自己回帰デコーダは、事前訓練中に将来の時刻データを予測してエンコーダを補完し、その結果の埋め込みが時間的整合性と整合性を維持する。
論文 参考訳（メタデータ） (2025-01-31T05:00:02Z) - Pre-Training Graph Contrastive Masked Autoencoders are Strong Distillers for EEG [4.006670302810497]
ラベルなし/ラベル付き/高密度のEEGデータ間のギャップを埋めるグラフコントラスト型マスク付きオートエンコーダディストレータを提案する。
高密度から低密度脳波データへの知識蒸留のために,グラフトポロジー蒸留損失関数を提案する。
2つの臨床脳波データセットにおける4つの分類課題に対する本手法の有効性を実証する。
論文 参考訳（メタデータ） (2024-11-28T15:53:32Z) - Self-Trained Model for ECG Complex Delineation [0.0]
心電図(ECG)のデライン化は、正確な診断で心臓科医を支援する上で重要な役割を担っている。
我々は,ECGデライン化のためのデータセットを導入し,大量のラベルのないECGデータを活用することを目的とした,新たな自己学習手法を提案する。
我々のアプローチでは、データセットでトレーニングされたニューラルネットワークを使用してラベルなしデータの擬似ラベル付けを行い、その後、新たにラベル付けされたサンプル上でモデルをトレーニングし、デライン化の品質を高める。
論文 参考訳（メタデータ） (2024-06-04T18:54:10Z) - Unsupervised Pre-Training Using Masked Autoencoders for ECG Analysis [4.3312979375047025]
本稿では、心電図(ECG)信号のためのマスク付きオートエンコーダ(MAE)に基づく教師なし事前トレーニング手法を提案する。
さらに、ECG分析のための完全なフレームワークを形成するためのタスク固有の微調整を提案する。
フレームワークは高レベルで普遍的で、特定のモデルアーキテクチャやタスクに個別に適応していない。
論文 参考訳（メタデータ） (2023-10-17T11:19:51Z) - Core-set Selection Using Metrics-based Explanations (CSUME) for
multiclass ECG [2.0520503083305073]
高品質なデータを選択することで、ディープラーニングモデルの性能が向上することを示す。
実験の結果,9.67%,8.69%の精度とリコール改善が得られた。
論文 参考訳（メタデータ） (2022-05-28T19:36:28Z) - Unsupervised Pre-Training on Patient Population Graphs for Patient-Level
Predictions [48.02011627390706]
プレトレーニングは、コンピュータビジョン(CV)、自然言語処理(NLP)、医療画像など、機械学習のさまざまな分野で成功している。
本稿では,患者結果の予測のために,教師なし事前学習を異種マルチモーダルEHRデータに適用する。
提案手法は,人口レベルでのデータモデリングに有効であることがわかった。
論文 参考訳（メタデータ） (2022-03-23T17:59:45Z) - Bootstrapping Your Own Positive Sample: Contrastive Learning With
Electronic Health Record Data [62.29031007761901]
本稿では,新しいコントラスト型正規化臨床分類モデルを提案する。
EHRデータに特化した2つのユニークなポジティブサンプリング戦略を紹介します。
私たちのフレームワークは、現実世界のCOVID-19 EHRデータの死亡リスクを予測するために、競争の激しい実験結果をもたらします。
論文 参考訳（メタデータ） (2021-04-07T06:02:04Z) - Uncovering the structure of clinical EEG signals with self-supervised
learning [64.4754948595556]
教師付き学習パラダイムは、しばしば利用可能なラベル付きデータの量によって制限される。
この現象は脳波(EEG)などの臨床関連データに特に問題となる。
ラベルのないデータから情報を抽出することで、ディープニューラルネットワークとの競合性能に到達することができるかもしれない。
論文 参考訳（メタデータ） (2020-07-31T14:34:47Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳（メタデータ） (2020-05-18T09:36:51Z) - ECG-DelNet: Delineation of Ambulatory Electrocardiograms with Mixed
Quality Labeling Using Neural Networks [69.25956542388653]
ディープラーニング(DL)アルゴリズムは、学術的、産業的にも重くなっている。
セグメンテーションフレームワークにECGの検出とデライン化を組み込むことにより、低解釈タスクにDLをうまく適用できることを実証する。
このモデルは、PhyloNetのQTデータベースを使用して、105個の増幅ECG記録から訓練された。
論文 参考訳（メタデータ） (2020-05-11T16:29:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。