論文の概要: Self-Supervised Pre-Training with Joint-Embedding Predictive Architecture Boosts ECG Classification Performance
- arxiv url: http://arxiv.org/abs/2410.13867v1
- Date: Wed, 02 Oct 2024 08:25:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-27 06:14:32.146302
- Title: Self-Supervised Pre-Training with Joint-Embedding Predictive Architecture Boosts ECG Classification Performance
- Title（参考訳）: 統合組込み予測アーキテクチャによる自己監督型事前訓練はECG分類性能を高める
- Authors: Kuba Weimann, Tim O. F. Conrad,
- Abstract要約: 10のパブリックECGデータベースを組み合わせることで、教師なしの大規模な事前トレーニングデータセットを作成します。
我々は、このデータセットでJEPAを使用してVision Transformerを事前トレーニングし、様々なTB-XLベンチマークでそれらを微調整する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Accurate diagnosis of heart arrhythmias requires the interpretation of electrocardiograms (ECG), which capture the electrical activity of the heart. Automating this process through machine learning is challenging due to the need for large annotated datasets, which are difficult and costly to collect. To address this issue, transfer learning is often employed, where models are pre-trained on large datasets and fine-tuned for specific ECG classification tasks with limited labeled data. Self-supervised learning has become a widely adopted pre-training method, enabling models to learn meaningful representations from unlabeled datasets. In this work, we explore the joint-embedding predictive architecture (JEPA) for self-supervised learning from ECG data. Unlike invariance-based methods, JEPA does not rely on hand-crafted data augmentations, and unlike generative methods, it predicts latent features rather than reconstructing input data. We create a large unsupervised pre-training dataset by combining ten public ECG databases, amounting to over one million records. We pre-train Vision Transformers using JEPA on this dataset and fine-tune them on various PTB-XL benchmarks. Our results show that JEPA outperforms existing invariance-based and generative approaches, achieving an AUC of 0.945 on the PTB-XL all statements task. JEPA consistently learns the highest quality representations, as demonstrated in linear evaluations, and proves advantageous for pre-training even in the absence of additional data.
- Abstract（参考訳）: 心臓不整脈の正確な診断には心電図(ECG)の解釈が必要である。
機械学習によるこのプロセスの自動化は、大規模な注釈付きデータセットが必要であり、収集が困難でコストがかかるため、難しい。
この問題に対処するために、トランスファーラーニングがよく使用され、モデルが大規模なデータセット上で事前トレーニングされ、ラベル付きデータに制限のある特定のECG分類タスクのために微調整される。
自己教師付き学習は、ラベルのないデータセットから意味のある表現を学習することのできる、広く採用されている事前学習手法である。
本研究では,ECGデータから自己教師付き学習を行うためのJEPA(Joint-embedding predictive Architecture)について検討する。
不変性に基づく手法とは異なり、JEPAは手作りのデータ拡張に依存しておらず、生成的手法とは異なり、入力データを再構成するのではなく、潜時的特徴を予測する。
10のパブリックECGデータベースを組み合わせることで、大規模な教師なし事前トレーニングデータセットを作成し、100万以上のレコードを生成します。
我々は、このデータセットでJEPAを使用してVision Transformerを事前トレーニングし、様々なTB-XLベンチマークでそれらを微調整する。
以上の結果から,JEPAは既存の不変および生成的アプローチよりも優れており,TB-XL全文タスクにおいて0.945のAUCを実現していることがわかった。
JEPAは、線形評価で示されているような、最高品質の表現を一貫して学習し、追加データがない場合でも事前トレーニングに有利であることを示す。
関連論文リスト
- Self-Trained Model for ECG Complex Delineation [0.0]
心電図(ECG)のデライン化は、正確な診断で心臓科医を支援する上で重要な役割を担っている。
我々は,ECGデライン化のためのデータセットを導入し,大量のラベルのないECGデータを活用することを目的とした,新たな自己学習手法を提案する。
我々のアプローチでは、データセットでトレーニングされたニューラルネットワークを使用してラベルなしデータの擬似ラベル付けを行い、その後、新たにラベル付けされたサンプル上でモデルをトレーニングし、デライン化の品質を高める。
論文 参考訳（メタデータ） (2024-06-04T18:54:10Z) - Transfer Learning for Molecular Property Predictions from Small Data Sets [0.0]
2つの小さなデータセット上での分子特性の予測のために、一般的な機械学習モデルをベンチマークする。
本稿では,大規模なデータセットを用いて各モデルを事前学習し,元のデータセットを微調整した上で,より正確なモデルを得ることができる転送学習戦略を提案する。
論文 参考訳（メタデータ） (2024-04-20T14:25:34Z) - MELEP: A Novel Predictive Measure of Transferability in Multi-Label ECG Diagnosis [1.3654846342364306]
本稿では,事前学習したモデルから下流のECG診断タスクへの知識伝達の有効性を推定する手段であるMELEPを紹介する。
実験により、MELEPは、小・不均衡のECGデータに基づいて、事前学習した畳み込みと繰り返しの深部ニューラルネットワークの性能を予測できることを示した。
論文 参考訳（メタデータ） (2023-10-27T14:57:10Z) - Unsupervised Pre-Training Using Masked Autoencoders for ECG Analysis [4.3312979375047025]
本稿では、心電図(ECG)信号のためのマスク付きオートエンコーダ(MAE)に基づく教師なし事前トレーニング手法を提案する。
さらに、ECG分析のための完全なフレームワークを形成するためのタスク固有の微調整を提案する。
フレームワークは高レベルで普遍的で、特定のモデルアーキテクチャやタスクに個別に適応していない。
論文 参考訳（メタデータ） (2023-10-17T11:19:51Z) - Core-set Selection Using Metrics-based Explanations (CSUME) for
multiclass ECG [2.0520503083305073]
高品質なデータを選択することで、ディープラーニングモデルの性能が向上することを示す。
実験の結果,9.67%,8.69%の精度とリコール改善が得られた。
論文 参考訳（メタデータ） (2022-05-28T19:36:28Z) - Unsupervised Pre-Training on Patient Population Graphs for Patient-Level
Predictions [48.02011627390706]
プレトレーニングは、コンピュータビジョン(CV)、自然言語処理(NLP)、医療画像など、機械学習のさまざまな分野で成功している。
本稿では,患者結果の予測のために,教師なし事前学習を異種マルチモーダルEHRデータに適用する。
提案手法は,人口レベルでのデータモデリングに有効であることがわかった。
論文 参考訳（メタデータ） (2022-03-23T17:59:45Z) - Generalizing electrocardiogram delineation: training convolutional
neural networks with synthetic data augmentation [63.51064808536065]
ECGのデライン化のための既存のデータベースは小さく、サイズやそれらが表す病態の配列に不足している。
まず、原データベースから抽出した基本セグメントのプールを与えられたECGトレースを確率的に合成し、その整合性のある合成トレースに配置するための一連のルールを考案した。
第二に、2つの新しいセグメンテーションに基づく損失関数が開発され、これは、正確な数の独立構造の予測を強制し、サンプル数の削減に焦点をあてて、より密接なセグメンテーション境界を創出することを目的としている。
論文 参考訳（メタデータ） (2021-11-25T10:11:41Z) - Bootstrapping Your Own Positive Sample: Contrastive Learning With
Electronic Health Record Data [62.29031007761901]
本稿では,新しいコントラスト型正規化臨床分類モデルを提案する。
EHRデータに特化した2つのユニークなポジティブサンプリング戦略を紹介します。
私たちのフレームワークは、現実世界のCOVID-19 EHRデータの死亡リスクを予測するために、競争の激しい実験結果をもたらします。
論文 参考訳（メタデータ） (2021-04-07T06:02:04Z) - Uncovering the structure of clinical EEG signals with self-supervised
learning [64.4754948595556]
教師付き学習パラダイムは、しばしば利用可能なラベル付きデータの量によって制限される。
この現象は脳波(EEG)などの臨床関連データに特に問題となる。
ラベルのないデータから情報を抽出することで、ディープニューラルネットワークとの競合性能に到達することができるかもしれない。
論文 参考訳（メタデータ） (2020-07-31T14:34:47Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳（メタデータ） (2020-05-18T09:36:51Z) - ECG-DelNet: Delineation of Ambulatory Electrocardiograms with Mixed
Quality Labeling Using Neural Networks [69.25956542388653]
ディープラーニング(DL)アルゴリズムは、学術的、産業的にも重くなっている。
セグメンテーションフレームワークにECGの検出とデライン化を組み込むことにより、低解釈タスクにDLをうまく適用できることを実証する。
このモデルは、PhyloNetのQTデータベースを使用して、105個の増幅ECG記録から訓練された。
論文 参考訳（メタデータ） (2020-05-11T16:29:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。