論文の概要: MEIT: Multi-Modal Electrocardiogram Instruction Tuning on Large Language Models for Report Generation
- arxiv url: http://arxiv.org/abs/2403.04945v3
- Date: Tue, 18 Jun 2024 07:15:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-20 04:05:40.139195
- Title: MEIT: Multi-Modal Electrocardiogram Instruction Tuning on Large Language Models for Report Generation
- Title(参考訳): MEIT:レポート生成のための大規模言語モデルに基づくマルチモード心電図指導
- Authors: Zhongwei Wan, Che Liu, Xin Wang, Chaofan Tao, Hui Shen, Zhenwu Peng, Jie Fu, Rossella Arcucci, Huaxiu Yao, Mi Zhang,
- Abstract要約: 心電図(Electrocardiogram、ECG)は、心臓の状態をモニタリングするための主要な非侵襲的診断ツールである。
最近の研究は心電図データを用いた心臓状態の分類に集中しているが、心電図レポートの生成は見落としている。
LLMとマルチモーダル命令を用いてECGレポート生成に取り組む最初の試みであるMultimodal ECG Instruction Tuning (MEIT) フレームワークを提案する。
- 参考スコア(独自算出の注目度): 41.324530807795256
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Electrocardiogram (ECG) is the primary non-invasive diagnostic tool for monitoring cardiac conditions and is crucial in assisting clinicians. Recent studies have concentrated on classifying cardiac conditions using ECG data but have overlooked ECG report generation, which is time-consuming and requires clinical expertise. To automate ECG report generation and ensure its versatility, we propose the Multimodal ECG Instruction Tuning (MEIT) framework, the first attempt to tackle ECG report generation with LLMs and multimodal instructions. To facilitate future research, we establish a benchmark to evaluate MEIT with various LLMs backbones across two large-scale ECG datasets. Our approach uniquely aligns the representations of the ECG signal and the report, and we conduct extensive experiments to benchmark MEIT with nine open-source LLMs using more than 800,000 ECG reports. MEIT's results underscore the superior performance of instruction-tuned LLMs, showcasing their proficiency in quality report generation, zero-shot capabilities, and resilience to signal perturbation. These findings emphasize the efficacy of our MEIT framework and its potential for real-world clinical application.
- Abstract(参考訳): 心電図(ECG)は、心臓の状態をモニタリングする主要な非侵襲的診断ツールであり、臨床医を支援する上で重要である。
近年の研究では、心電図データを用いた心臓状態の分類に焦点が当てられているが、心電図のレポート生成は見過ごされている。
LLMとマルチモーダル命令でECGレポート生成に取り組む最初の試みである、MEIT(Multimodal ECG Instruction Tuning)フレームワークを提案する。
今後の研究を容易にするため、2つの大規模ECGデータセットにまたがる様々なLLMバックボーンを用いたMEIT評価ベンチマークを構築した。
提案手法は、ECG信号とレポートの表現を一意に整合させ、800,000以上のECGレポートを用いて、9つのオープンソースLCMでMEITをベンチマークする広範囲な実験を行う。
MEITの結果は、命令調整LDMの優れた性能を強調し、高品質なレポート生成、ゼロショット機能、信号摂動に対する弾力性を示す。
本研究は,MEITフレームワークの有効性と臨床応用の可能性を明らかにするものである。
関連論文リスト
- DiffuSETS: 12-lead ECG Generation Conditioned on Clinical Text Reports and Patient-Specific Information [13.680337221159506]
心臓病は人間の健康にとって重大な脅威である。
プライバシー上の懸念と限られた医療資源によって駆動される高品質なECGデータの空洞化は、効果的なECG信号生成の押し付けの必要性を生み出します。
セマンティックアライメントと忠実度の高いECG信号を生成可能な新しいフレームワークであるDiffuSETSを提案する。
論文 参考訳(メタデータ) (2025-01-10T12:55:34Z) - De-biased Multimodal Electrocardiogram Analysis [20.290531515033518]
医療分野ではMLLM(Multimodal large language model)がますます採用されている。
これまでの研究では、ECGを複数のテキストタグに変換することでこの問題に対処してきた。
本研究は,射影層を通したLCMへのECGの埋め込みを直接供給する。
論文 参考訳(メタデータ) (2024-11-22T08:35:35Z) - AnyECG: Foundational Models for Electrocardiogram Analysis [36.53693619144332]
心電図(ECG)は急性心臓発作の検出に非常に敏感である。
本稿では,実世界のECGデータからロバストな表現を抽出するための基礎モデルであるAnyECGを紹介する。
異常検出,不整脈検出,不良鉛生成,超長期心電図信号解析などの実験結果から,AnyECGがデータから共通心電図の知識を学習し,各タスクにおける最先端手法を著しく上回ることを示す。
論文 参考訳(メタデータ) (2024-11-17T17:32:58Z) - Self-supervised inter-intra period-aware ECG representation learning for detecting atrial fibrillation [41.82319894067087]
そこで本研究では,周期型ECG表現学習手法を提案する。
心房細動患者の心電図ではRR間隔の不規則性やP波の欠如を考慮し, 経時的および経時的表現のための特定の事前訓練タスクを開発する。
本手法は,発作/持続性心房細動検出のためのBTCHデータセット,textiti., 0.953/0.996におけるAUCの顕著な性能を示す。
論文 参考訳(メタデータ) (2024-10-08T10:03:52Z) - Electrocardiogram Report Generation and Question Answering via Retrieval-Augmented Self-Supervised Modeling [19.513904491604794]
ECG-ReGenは、ECG-to-textレポート生成と質問応答のための検索ベースのアプローチである。
事前学習と動的検索とLarge Language Model(LLM)ベースの改善を組み合わせることで、ECG-ReGenはECGデータと関連するクエリを効果的に分析する。
論文 参考訳(メタデータ) (2024-09-13T12:50:36Z) - ECG-FM: An Open Electrocardiogram Foundation Model [3.611746032873298]
本稿では,ECG分析のためのオープン基盤モデルであるECG-FMを提案する。
ECG-FMはトランスフォーマーベースのアーキテクチャを採用し、250万のサンプルで事前訓練されている。
文脈情報のコマンドが強靭なパフォーマンス、豊富な事前学習された埋め込み、信頼性のある解釈可能性をもたらすことを示す。
論文 参考訳(メタデータ) (2024-08-09T17:06:49Z) - PulseNet: Deep Learning ECG-signal classification using random
augmentation policy and continous wavelet transform for canines [46.09869227806991]
犬心電図(ECG)の評価には熟練した獣医が必要である。
心電図の解釈と診断支援のための獣医師の現在の利用状況は限られている。
犬の心電図配列を正常または異常と分類するためのディープ畳み込みニューラルネットワーク(CNN)アプローチを実装した。
論文 参考訳(メタデータ) (2023-05-17T09:06:39Z) - Frozen Language Model Helps ECG Zero-Shot Learning [12.974685769614062]
マルチモーダルECG-Text Self-supervised pre-training (METS)を提案する。
トレーニング可能なECGエンコーダと凍結言語モデルを用いて,ペアのECGを組込み,個別に自動で臨床報告を行う。
下流の分類タスクでは、METSは注釈付きデータを使わずに、約10%のパフォーマンス改善を実現している。
論文 参考訳(メタデータ) (2023-03-22T05:01:14Z) - SEVGGNet-LSTM: a fused deep learning model for ECG classification [38.747030782394646]
入力ECG信号はまずセグメント化され、正規化され、その後、特徴抽出と分類のためにVGGとLSTMネットワークに入力される。
注目機構(SEブロック)をコアネットワークに組み込んで重要な特徴の重み付けを行う。
論文 参考訳(メタデータ) (2022-10-31T07:36:48Z) - ECG-DelNet: Delineation of Ambulatory Electrocardiograms with Mixed
Quality Labeling Using Neural Networks [69.25956542388653]
ディープラーニング(DL)アルゴリズムは、学術的、産業的にも重くなっている。
セグメンテーションフレームワークにECGの検出とデライン化を組み込むことにより、低解釈タスクにDLをうまく適用できることを実証する。
このモデルは、PhyloNetのQTデータベースを使用して、105個の増幅ECG記録から訓練された。
論文 参考訳(メタデータ) (2020-05-11T16:29:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。