論文の概要: Frozen Language Model Helps ECG Zero-Shot Learning

• arxiv url: http://arxiv.org/abs/2303.12311v1
• Date: Wed, 22 Mar 2023 05:01:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-23 15:21:08.875337
• Title: Frozen Language Model Helps ECG Zero-Shot Learning
• Title（参考訳）: ecgゼロショット学習を支援する凍結言語モデル
• Authors: Jun Li, Che Liu, Sibo Cheng, Rossella Arcucci, Shenda Hong
• Abstract要約: マルチモーダルECG-Text Self-supervised pre-training (METS)を提案する。 トレーニング可能なECGエンコーダと凍結言語モデルを用いて,ペアのECGを組込み,個別に自動で臨床報告を行う。 下流の分類タスクでは、METSは注釈付きデータを使わずに、約10%のパフォーマンス改善を実現している。
• 参考スコア（独自算出の注目度）: 12.974685769614062
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The electrocardiogram (ECG) is one of the most commonly used non-invasive, convenient medical monitoring tools that assist in the clinical diagnosis of heart diseases. Recently, deep learning (DL) techniques, particularly self-supervised learning (SSL), have demonstrated great potential in the classification of ECG. SSL pre-training has achieved competitive performance with only a small amount of annotated data after fine-tuning. However, current SSL methods rely on the availability of annotated data and are unable to predict labels not existing in fine-tuning datasets. To address this challenge, we propose Multimodal ECG-Text Self-supervised pre-training (METS), the first work to utilize the auto-generated clinical reports to guide ECG SSL pre-training. We use a trainable ECG encoder and a frozen language model to embed paired ECG and automatically machine-generated clinical reports separately. The SSL aims to maximize the similarity between paired ECG and auto-generated report while minimize the similarity between ECG and other reports. In downstream classification tasks, METS achieves around 10% improvement in performance without using any annotated data via zero-shot classification, compared to other supervised and SSL baselines that rely on annotated data. Furthermore, METS achieves the highest recall and F1 scores on the MIT-BIH dataset, despite MIT-BIH containing different classes of ECG compared to the pre-trained dataset. The extensive experiments have demonstrated the advantages of using ECG-Text multimodal self-supervised learning in terms of generalizability, effectiveness, and efficiency.
• Abstract（参考訳）: 心電図 (ECG) は、心臓疾患の臨床的診断を支援する非侵襲的で便利な医療モニタリングツールの1つである。 近年、深層学習(DL)技術、特に自己教師付き学習(SSL)は、心電図の分類において大きな可能性を示している。 SSL事前トレーニングは、微調整後に少量の注釈付きデータで競合性能を達成した。 しかし、現在のSSLメソッドはアノテーション付きデータの可用性に依存しており、微調整データセットに存在しないラベルを予測できない。 この課題に対処するため、我々は、自動生成臨床報告を利用してECG SSL事前トレーニングをガイドするMultimodal ECG-Text Self-supervised Pre-training (METS)を提案する。 トレーニング可能なECGエンコーダと凍結言語モデルを用いて,ペアのECGを組込み,自動で臨床報告を行う。 SSLの目的は、ペア化されたECGと自動生成されたレポートの類似性を最大化し、ECGと他のレポートの類似性を最小化することである。 下流の分類タスクにおいて、METSは、アノテーション付きデータに依存する他の教師付きおよびSSLベースラインと比較して、ゼロショット分類によるアノテーション付きデータを使用することなく、約10%のパフォーマンス改善を達成する。 さらに、MIT-BIHはトレーニング済みのデータセットと比較して、ECGの異なるクラスを含むにもかかわらず、METSはMIT-BIHデータセット上で最高のリコールとF1スコアを達成する。 広範な実験により、一般化可能性、有効性、効率性の観点からecg-text multimodal self-supervised learningの利点が実証された。

関連論文リスト

• Zero-Shot ECG Classification with Multimodal Learning and Test-time Clinical Knowledge Enhancement [10.611952462532908]
  マルチモーダルECG表現学習(MERL)は、テキストプロンプトでゼロショットECG分類を行うことができる。 本稿では,外部の専門知識データベースを利用した臨床知識向上技術(CKEPE)アプローチを提案する。 MERLは、ゼロショット分類における平均75.2%のAUCスコアを(トレーニングデータなしで)達成し、10%の注釈付きトレーニングデータを持つ線形プローブeSSLメソッドよりも3.2%高い。
  論文  参考訳（メタデータ） (2024-03-11T12:28:55Z)
• MEIT: Multi-Modal Electrocardiogram Instruction Tuning on Large Language Models for Report Generation [41.324530807795256]
  心電図(Electrocardiogram、ECG)は、心臓の状態をモニタリングするための主要な非侵襲的診断ツールである。 最近の研究は心電図データを用いた心臓状態の分類に集中しているが、心電図レポートの生成は見落としている。 LLMとマルチモーダル命令を用いてECGレポート生成に取り組む最初の試みであるMultimodal ECG Instruction Tuning (MEIT) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-07T23:20:56Z)
• Guiding Masked Representation Learning to Capture Spatio-Temporal Relationship of Electrocardiogram [2.2842904085777045]
  本稿では,ST-MEM(S-Temporal Masked Electrocardiogram Modeling)を提案する。 ST-MEMは、不整脈に対する様々な実験的設定において、他のSSLベースラインメソッドよりも優れている。
  論文  参考訳（メタデータ） (2024-02-02T10:04:13Z)
• ECG-SL: Electrocardiogram(ECG) Segment Learning, a deep learning method for ECG signal [19.885905393439014]
  本稿では,ECG信号の周期的性質をモデル化する新しいECG-Segment Based Learning (ECG-SL) フレームワークを提案する。 この構造的特徴に基づき, 時間的モデルを用いて, 各種臨床業務の時間的情報学習を行う。 提案手法はベースラインモデルより優れ,3つの臨床応用におけるタスク固有手法と比較して競争性能が向上する。
  論文  参考訳（メタデータ） (2023-10-01T23:17:55Z)
• ETP: Learning Transferable ECG Representations via ECG-Text Pre-training [10.856365645831728]
  ECG-Text Pre-training (ETP)は、ECG信号とテキストレポートをリンクするクロスモーダル表現を学習するために設計された革新的なフレームワークである。 ETPはECGエンコーダと事前訓練された言語モデルを使用して、ECG信号を対応するテキストレポートと整合させる。
  論文  参考訳（メタデータ） (2023-09-06T19:19:26Z)
• Improving Multiple Sclerosis Lesion Segmentation Across Clinical Sites: A Federated Learning Approach with Noise-Resilient Training [75.40980802817349]
  深層学習モデルは、自動的にMS病変を分節する約束を示しているが、正確な注釈付きデータの不足は、この分野の進歩を妨げている。 我々は,MS病変の不均衡分布とファジィ境界を考慮したDecoupled Hard Label Correction(DHLC)戦略を導入する。 また,集約型中央モデルを利用したCELC(Centrally Enhanced Label Correction)戦略も導入した。
  論文  参考訳（メタデータ） (2023-08-31T00:36:10Z)
• Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
  本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。 我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。 多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-15T17:55:05Z)
• Self-supervised contrastive learning of echocardiogram videos enables label-efficient cardiac disease diagnosis [48.64462717254158]
  心エコービデオを用いた自己教師型コントラスト学習手法であるエコーCLRを開発した。 左室肥大症 (LVH) と大動脈狭窄症 (AS) の分類成績は,EchoCLR の訓練により有意に改善した。 EchoCLRは、医療ビデオの表現を学習する能力に特有であり、SSLがラベル付きデータセットからラベル効率の高い疾患分類を可能にすることを実証している。
  論文  参考訳（メタデータ） (2022-07-23T19:17:26Z)
• Uncovering the structure of clinical EEG signals with self-supervised learning [64.4754948595556]
  教師付き学習パラダイムは、しばしば利用可能なラベル付きデータの量によって制限される。 この現象は脳波(EEG)などの臨床関連データに特に問題となる。 ラベルのないデータから情報を抽出することで、ディープニューラルネットワークとの競合性能に到達することができるかもしれない。
  論文  参考訳（メタデータ） (2020-07-31T14:34:47Z)
• ECG-DelNet: Delineation of Ambulatory Electrocardiograms with Mixed Quality Labeling Using Neural Networks [69.25956542388653]
  ディープラーニング(DL)アルゴリズムは、学術的、産業的にも重くなっている。 セグメンテーションフレームワークにECGの検出とデライン化を組み込むことにより、低解釈タスクにDLをうまく適用できることを実証する。 このモデルは、PhyloNetのQTデータベースを使用して、105個の増幅ECG記録から訓練された。
  論文  参考訳（メタデータ） (2020-05-11T16:29:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。