論文の概要: Zero-Shot ECG Classification with Multimodal Learning and Test-time Clinical Knowledge Enhancement
- arxiv url: http://arxiv.org/abs/2403.06659v3
- Date: Tue, 2 Jul 2024 16:51:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 07:29:19.727592
- Title: Zero-Shot ECG Classification with Multimodal Learning and Test-time Clinical Knowledge Enhancement
- Title(参考訳): マルチモーダル学習とテストタイム臨床知識強化によるゼロショット心電図分類
- Authors: Che Liu, Zhongwei Wan, Cheng Ouyang, Anand Shah, Wenjia Bai, Rossella Arcucci,
- Abstract要約: マルチモーダルECG表現学習(MERL)は、テキストプロンプトでゼロショットECG分類を行うことができる。
本稿では,外部の専門知識データベースを利用した臨床知識向上技術(CKEPE)アプローチを提案する。
MERLは、ゼロショット分類における平均75.2%のAUCスコアを(トレーニングデータなしで)達成し、10%の注釈付きトレーニングデータを持つ線形プローブeSSLメソッドよりも3.2%高い。
- 参考スコア(独自算出の注目度): 10.611952462532908
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Electrocardiograms (ECGs) are non-invasive diagnostic tools crucial for detecting cardiac arrhythmic diseases in clinical practice. While ECG Self-supervised Learning (eSSL) methods show promise in representation learning from unannotated ECG data, they often overlook the clinical knowledge that can be found in reports. This oversight and the requirement for annotated samples for downstream tasks limit eSSL's versatility. In this work, we address these issues with the Multimodal ECG Representation Learning (MERL}) framework. Through multimodal learning on ECG records and associated reports, MERL is capable of performing zero-shot ECG classification with text prompts, eliminating the need for training data in downstream tasks. At test time, we propose the Clinical Knowledge Enhanced Prompt Engineering (CKEPE) approach, which uses Large Language Models (LLMs) to exploit external expert-verified clinical knowledge databases, generating more descriptive prompts and reducing hallucinations in LLM-generated content to boost zero-shot classification. Based on MERL, we perform the first benchmark across six public ECG datasets, showing the superior performance of MERL compared against eSSL methods. Notably, MERL achieves an average AUC score of 75.2% in zero-shot classification (without training data), 3.2% higher than linear probed eSSL methods with 10\% annotated training data, averaged across all six datasets. Code and models are available at https://github.com/cheliu-computation/MERL
- Abstract(参考訳): 心電図(Electrocardiograms:ECGs)は、心臓不整脈疾患の臨床的診断に不可欠な非侵襲的診断ツールである。
ECG Self-supervised Learning (eSSL) 法は、注釈のないECGデータからの表現学習において有望であるが、レポートに見られる臨床知識を見落としていることが多い。
この監視とダウンストリームタスクのアノテーション付きサンプルの要求は、eSSLの汎用性を制限する。
本稿では,これらの課題をMERL(Multimodal ECG Representation Learning)フレームワークを用いて解決する。
マルチモーダルなECGレコードと関連するレポートの学習を通じて、MERLはテキストプロンプトでゼロショットECG分類を実行でき、下流のタスクでデータをトレーニングする必要がなくなる。
臨床知識向上技術 (CKEPE) アプローチは,外部の専門知識データベースを利用した大規模言語モデル (LLM) を用いて,より記述的なプロンプトを生成し,LCM生成したコンテンツの幻覚を低減し,ゼロショット分類を促進する。
MERLに基づいて、6つのパブリックECGデータセットにまたがる最初のベンチマークを行い、eSSL法と比較してMERLの優れた性能を示す。
特に、MERLは、ゼロショット分類における平均75.2%のAUCスコアを(トレーニングデータなしで)達成し、10\%の注釈付きトレーニングデータを持つ線形プローブeSSLメソッドよりも3.2%高い。
コードとモデルはhttps://github.com/cheliu-computation/MERLで入手できる。
関連論文リスト
- MEIT: Multi-Modal Electrocardiogram Instruction Tuning on Large Language Models for Report Generation [41.324530807795256]
心電図(Electrocardiogram、ECG)は、心臓の状態をモニタリングするための主要な非侵襲的診断ツールである。
最近の研究は心電図データを用いた心臓状態の分類に集中しているが、心電図レポートの生成は見落としている。
LLMとマルチモーダル命令を用いてECGレポート生成に取り組む最初の試みであるMultimodal ECG Instruction Tuning (MEIT) フレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-07T23:20:56Z) - Guiding Masked Representation Learning to Capture Spatio-Temporal Relationship of Electrocardiogram [2.2842904085777045]
本稿では,ST-MEM(S-Temporal Masked Electrocardiogram Modeling)を提案する。
ST-MEMは、不整脈に対する様々な実験的設定において、他のSSLベースラインメソッドよりも優れている。
論文 参考訳(メタデータ) (2024-02-02T10:04:13Z) - Improving Multiple Sclerosis Lesion Segmentation Across Clinical Sites:
A Federated Learning Approach with Noise-Resilient Training [75.40980802817349]
深層学習モデルは、自動的にMS病変を分節する約束を示しているが、正確な注釈付きデータの不足は、この分野の進歩を妨げている。
我々は,MS病変の不均衡分布とファジィ境界を考慮したDecoupled Hard Label Correction(DHLC)戦略を導入する。
また,集約型中央モデルを利用したCELC(Centrally Enhanced Label Correction)戦略も導入した。
論文 参考訳(メタデータ) (2023-08-31T00:36:10Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳(メタデータ) (2023-03-30T18:20:00Z) - Frozen Language Model Helps ECG Zero-Shot Learning [12.974685769614062]
マルチモーダルECG-Text Self-supervised pre-training (METS)を提案する。
トレーニング可能なECGエンコーダと凍結言語モデルを用いて,ペアのECGを組込み,個別に自動で臨床報告を行う。
下流の分類タスクでは、METSは注釈付きデータを使わずに、約10%のパフォーマンス改善を実現している。
論文 参考訳(メタデータ) (2023-03-22T05:01:14Z) - Multimodality Multi-Lead ECG Arrhythmia Classification using
Self-Supervised Learning [5.675787521359948]
SSLベースのマルチモーダリティECG分類を提案する。
提案するネットワークはSSL学習パラダイムに従っており,前ストリームタスクと下流タスクに対応する2つのモジュールで構成されている。
提案手法の有効性を評価するため,12リードのPhystoNet 2020データセット上で10倍のクロス検証を行った。
論文 参考訳(メタデータ) (2022-09-30T18:45:34Z) - Self-supervised contrastive learning of echocardiogram videos enables
label-efficient cardiac disease diagnosis [48.64462717254158]
心エコービデオを用いた自己教師型コントラスト学習手法であるエコーCLRを開発した。
左室肥大症 (LVH) と大動脈狭窄症 (AS) の分類成績は,EchoCLR の訓練により有意に改善した。
EchoCLRは、医療ビデオの表現を学習する能力に特有であり、SSLがラベル付きデータセットからラベル効率の高い疾患分類を可能にすることを実証している。
論文 参考訳(メタデータ) (2022-07-23T19:17:26Z) - Dissecting Self-Supervised Learning Methods for Surgical Computer Vision [51.370873913181605]
一般のコンピュータビジョンコミュニティでは,自己監視学習(SSL)手法が普及し始めている。
医学や手術など、より複雑で影響力のある領域におけるSSLメソッドの有効性は、限定的かつ未調査のままである。
外科的文脈理解,位相認識,ツール存在検出の2つの基本的なタスクに対して,これらの手法の性能をColec80データセット上で広範囲に解析する。
論文 参考訳(メタデータ) (2022-07-01T14:17:11Z) - Quality-aware semi-supervised learning for CMR segmentation [2.9928692313705505]
医用画像セグメンテーションのためのディープラーニングアルゴリズムを開発する上での課題の1つは、トレーニングデータの不足である。
本稿では,下流タスクのQCを用いて,CMRセグメンテーションネットワークの高品質な出力を同定する手法を提案する。
本質的にこれは、セグメンテーションネットワーク用のSSLの変種におけるトレーニングデータの品質向上を提供する。
論文 参考訳(メタデータ) (2020-09-01T17:18:22Z) - Uncovering the structure of clinical EEG signals with self-supervised
learning [64.4754948595556]
教師付き学習パラダイムは、しばしば利用可能なラベル付きデータの量によって制限される。
この現象は脳波(EEG)などの臨床関連データに特に問題となる。
ラベルのないデータから情報を抽出することで、ディープニューラルネットワークとの競合性能に到達することができるかもしれない。
論文 参考訳(メタデータ) (2020-07-31T14:34:47Z) - ECG-DelNet: Delineation of Ambulatory Electrocardiograms with Mixed
Quality Labeling Using Neural Networks [69.25956542388653]
ディープラーニング(DL)アルゴリズムは、学術的、産業的にも重くなっている。
セグメンテーションフレームワークにECGの検出とデライン化を組み込むことにより、低解釈タスクにDLをうまく適用できることを実証する。
このモデルは、PhyloNetのQTデータベースを使用して、105個の増幅ECG記録から訓練された。
論文 参考訳(メタデータ) (2020-05-11T16:29:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。