論文の概要: ECG Semantic Integrator (ESI): A Foundation ECG Model Pretrained with LLM-Enhanced Cardiological Text
- arxiv url: http://arxiv.org/abs/2405.19366v2
- Date: Wed, 23 Oct 2024 18:01:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-25 12:49:07.775623
- Title: ECG Semantic Integrator (ESI): A Foundation ECG Model Pretrained with LLM-Enhanced Cardiological Text
- Title(参考訳): 心電図セマンティックインテグレータ(ESI) : LLM強化心電図を用いた基礎心電図モデル
- Authors: Han Yu, Peikun Guo, Akane Sano,
- Abstract要約: 本研究は,12誘導ECG信号の学習表現の品質とロバスト性の向上を目的とした,新しいマルチモーダルコントラスト保持フレームワークを提案する。
私たちのフレームワークは、Cardio Query Assistant(CQA)とECG Semantics Integrator(ESI)の2つの重要なコンポーネントで構成されています。
- 参考スコア(独自算出の注目度): 14.06147507373525
- License:
- Abstract: The utilization of deep learning on electrocardiogram (ECG) analysis has brought the advanced accuracy and efficiency of cardiac healthcare diagnostics. By leveraging the capabilities of deep learning in semantic understanding, especially in feature extraction and representation learning, this study introduces a new multimodal contrastive pretaining framework that aims to improve the quality and robustness of learned representations of 12-lead ECG signals. Our framework comprises two key components, including Cardio Query Assistant (CQA) and ECG Semantics Integrator(ESI). CQA integrates a retrieval-augmented generation (RAG) pipeline to leverage large language models (LLMs) and external medical knowledge to generate detailed textual descriptions of ECGs. The generated text is enriched with information about demographics and waveform patterns. ESI integrates both contrastive and captioning loss to pretrain ECG encoders for enhanced representations. We validate our approach through various downstream tasks, including arrhythmia detection and ECG-based subject identification. Our experimental results demonstrate substantial improvements over strong baselines in these tasks. These baselines encompass supervised and self-supervised learning methods, as well as prior multimodal pretraining approaches.
- Abstract(参考訳): 心電図(ECG)解析における深層学習の利用により,心疾患診断の精度と効率が向上した。
本研究は,意味理解における深層学習,特に特徴抽出と表現学習の能力を活用することにより,12誘導ECG信号の学習表現の質と堅牢性の向上を目的とした,多モードのコントラスト保持フレームワークを提案する。
私たちのフレームワークは、Cardio Query Assistant(CQA)とECG Semantics Integrator(ESI)の2つの重要なコンポーネントで構成されています。
CQAは、検索拡張世代(RAG)パイプラインを統合して、大きな言語モデル(LLM)と外部医療知識を活用し、ECGの詳細なテキスト記述を生成する。
生成されたテキストには、人口統計や波形パターンに関する情報が豊富に含まれている。
ESIはコントラストとキャプションの両方の損失を統合し、拡張表現のためのECGエンコーダを事前訓練する。
我々は,不整脈検出や心電図に基づく被験者識別など,様々な下流課題を通じてアプローチを検証する。
実験結果は,これらのタスクにおいて,強いベースラインよりも大幅に改善されたことを示す。
これらのベースラインには、教師付きおよび自己教師付き学習方法と、事前のマルチモーダル事前学習アプローチが含まれる。
関連論文リスト
- Electrocardiogram Report Generation and Question Answering via Retrieval-Augmented Self-Supervised Modeling [19.513904491604794]
ECG-ReGenは、ECG-to-textレポート生成と質問応答のための検索ベースのアプローチである。
事前学習と動的検索とLarge Language Model(LLM)ベースの改善を組み合わせることで、ECG-ReGenはECGデータと関連するクエリを効果的に分析する。
論文 参考訳(メタデータ) (2024-09-13T12:50:36Z) - MEIT: Multi-Modal Electrocardiogram Instruction Tuning on Large Language Models for Report Generation [41.324530807795256]
心電図(Electrocardiogram、ECG)は、心臓の状態をモニタリングするための主要な非侵襲的診断ツールである。
最近の研究は心電図データを用いた心臓状態の分類に集中しているが、心電図レポートの生成は見落としている。
LLMとマルチモーダル命令を用いてECGレポート生成に取り組む最初の試みであるMultimodal ECG Instruction Tuning (MEIT) フレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-07T23:20:56Z) - ECG-SL: Electrocardiogram(ECG) Segment Learning, a deep learning method
for ECG signal [19.885905393439014]
本稿では,ECG信号の周期的性質をモデル化する新しいECG-Segment Based Learning (ECG-SL) フレームワークを提案する。
この構造的特徴に基づき, 時間的モデルを用いて, 各種臨床業務の時間的情報学習を行う。
提案手法はベースラインモデルより優れ,3つの臨床応用におけるタスク固有手法と比較して競争性能が向上する。
論文 参考訳(メタデータ) (2023-10-01T23:17:55Z) - DGSD: Dynamical Graph Self-Distillation for EEG-Based Auditory Spatial
Attention Detection [49.196182908826565]
AAD(Auditory Attention Detection)は、マルチスピーカー環境で脳信号からターゲット話者を検出することを目的としている。
現在のアプローチは主に、画像のようなユークリッドデータを処理するために設計された従来の畳み込みニューラルネットワークに依存している。
本稿では、入力として音声刺激を必要としないAADのための動的グラフ自己蒸留(DGSD)手法を提案する。
論文 参考訳(メタデータ) (2023-09-07T13:43:46Z) - ETP: Learning Transferable ECG Representations via ECG-Text Pre-training [10.856365645831728]
ECG-Text Pre-training (ETP)は、ECG信号とテキストレポートをリンクするクロスモーダル表現を学習するために設計された革新的なフレームワークである。
ETPはECGエンコーダと事前訓練された言語モデルを使用して、ECG信号を対応するテキストレポートと整合させる。
論文 参考訳(メタデータ) (2023-09-06T19:19:26Z) - Automated Cardiovascular Record Retrieval by Multimodal Learning between
Electrocardiogram and Clinical Report [28.608260758775316]
本稿では,Large Language Models (LLM) と Vision-Transformer (ViT) モデルにおける最近のブレークスルーを活用し,ECGの解釈に新たなアプローチを導入する。
入力ECGデータに基づいて,最も類似した症例を自動的に同定する手法を提案する。
本研究は,未開発地域において診断サービスを提供する上で重要な資源となる可能性がある。
論文 参考訳(メタデータ) (2023-04-13T06:32:25Z) - ECG-CL: A Comprehensive Electrocardiogram Interpretation Method Based on
Continual Learning [20.465733855762835]
心電図(ECG)モニタリングは心血管疾患(CVD)早期診断の最も強力な手法の一つである。
古典的なルールベースのアルゴリズムは、今ではディープラーニングベースの手法によって完全にパフォーマンスが向上している。
本稿では,高解像度の低レベルセマンティック情報を一括して保持できるマルチレゾリューションモデルを提案する。
論文 参考訳(メタデータ) (2023-04-10T15:19:00Z) - Factored Attention and Embedding for Unstructured-view Topic-related
Ultrasound Report Generation [70.7778938191405]
本研究では,非構造的トピック関連超音波レポート生成のための新しい因子的注意・埋め込みモデル(FAE-Gen)を提案する。
提案したFAE-Genは主に2つのモジュール、すなわちビュー誘導因子の注意とトピック指向因子の埋め込みから構成されており、異なるビューで均質および不均一な形態的特徴を捉えている。
論文 参考訳(メタデータ) (2022-03-12T15:24:03Z) - Generalizing electrocardiogram delineation: training convolutional
neural networks with synthetic data augmentation [63.51064808536065]
ECGのデライン化のための既存のデータベースは小さく、サイズやそれらが表す病態の配列に不足している。
まず、原データベースから抽出した基本セグメントのプールを与えられたECGトレースを確率的に合成し、その整合性のある合成トレースに配置するための一連のルールを考案した。
第二に、2つの新しいセグメンテーションに基づく損失関数が開発され、これは、正確な数の独立構造の予測を強制し、サンプル数の削減に焦点をあてて、より密接なセグメンテーション境界を創出することを目的としている。
論文 参考訳(メタデータ) (2021-11-25T10:11:41Z) - ECG-DelNet: Delineation of Ambulatory Electrocardiograms with Mixed
Quality Labeling Using Neural Networks [69.25956542388653]
ディープラーニング(DL)アルゴリズムは、学術的、産業的にも重くなっている。
セグメンテーションフレームワークにECGの検出とデライン化を組み込むことにより、低解釈タスクにDLをうまく適用できることを実証する。
このモデルは、PhyloNetのQTデータベースを使用して、105個の増幅ECG記録から訓練された。
論文 参考訳(メタデータ) (2020-05-11T16:29:12Z) - Opportunities and Challenges of Deep Learning Methods for
Electrocardiogram Data: A Systematic Review [62.490310870300746]
心電図(Electrocardiogram、ECG)は、医学および医療において最も一般的に用いられる診断ツールの1つである。
深層学習法は心電図信号を用いた予測医療タスクにおいて有望な結果を得た。
本稿では、モデリングとアプリケーションの観点から、ECGデータに対するディープラーニング手法の体系的なレビューを行う。
論文 参考訳(メタデータ) (2019-12-28T02:44:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。