Fugu-MT 論文翻訳(概要): Teach Multimodal LLMs to Comprehend Electrocardiographic Images

論文の概要: Teach Multimodal LLMs to Comprehend Electrocardiographic Images

arxiv url: http://arxiv.org/abs/2410.19008v1
Date: Mon, 21 Oct 2024 20:26:41 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-28 13:37:21.941567
Title: Teach Multimodal LLMs to Comprehend Electrocardiographic Images
Title（参考訳）: 心電図解析のためのTeach Multimodal LLM
Authors: Ruoqi Liu, Yuelin Bai, Xiang Yue, Ping Zhang,
Abstract要約: 我々は、100万以上のサンプルからなる総合的なECGイメージインストラクションチューニングデータセットであるECGInstructを紹介する。また,心電図の理解に適したMLLMであるPULSEを開発した。実験の結果,PULSEは従来のMLLMよりも15%から30%の精度向上を実現した。
参考スコア（独自算出の注目度）: 10.577263066644194
License:
Abstract: The electrocardiogram (ECG) is an essential non-invasive diagnostic tool for assessing cardiac conditions. Existing automatic interpretation methods suffer from limited generalizability, focusing on a narrow range of cardiac conditions, and typically depend on raw physiological signals, which may not be readily available in resource-limited settings where only printed or digital ECG images are accessible. Recent advancements in multimodal large language models (MLLMs) present promising opportunities for addressing these challenges. However, the application of MLLMs to ECG image interpretation remains challenging due to the lack of instruction tuning datasets and well-established ECG image benchmarks for quantitative evaluation. To address these challenges, we introduce ECGInstruct, a comprehensive ECG image instruction tuning dataset of over one million samples, covering a wide range of ECG-related tasks from diverse data sources. Using ECGInstruct, we develop PULSE, an MLLM tailored for ECG image comprehension. In addition, we curate ECGBench, a new evaluation benchmark covering four key ECG image interpretation tasks across nine different datasets. Our experiments show that PULSE sets a new state-of-the-art, outperforming general MLLMs with an average accuracy improvement of 15% to 30%. This work highlights the potential of PULSE to enhance ECG interpretation in clinical practice.
Abstract（参考訳）: 心電図(ECG)は、心臓の病態を評価するために必要不可欠な非侵襲的診断ツールである。既存の自動解釈法は、限られた一般化性に悩まされ、限られた心臓状態に焦点が当てられ、典型的には生の生理的信号に依存しており、印刷されたECG画像やデジタルECG画像のみにアクセス可能なリソース限定の環境では利用できない。マルチモーダル大規模言語モデル(MLLM)の最近の進歩は、これらの課題に対処するための有望な機会を提供する。しかし,命令調律データセットの欠如や,定量的評価のための確立されたECG画像ベンチマークの欠如により,MLLMのECG画像解釈への応用は依然として困難である。これらの課題に対処するために,多種多様なデータソースから多種多様なECG関連タスクをカバーする,100万以上のサンプルからなる総合的なECG画像チューニングデータセットであるECGInstructを紹介した。本稿では,ECG 画像理解に適した MLLM である PULSE を開発した。さらに、9つの異なるデータセットにわたる4つの重要なECG画像解釈タスクをカバーする新しい評価ベンチマークであるECGBenchをキュレートする。実験の結果,PULSEは従来のMLLMよりも15%から30%の精度向上を実現した。本研究はPULSEが臨床実習における心電図の解釈を強化する可能性を強調するものである。

関連論文リスト

Electrocardiogram-Language Model for Few-Shot Question Answering with Meta Learning [19.513904491604794]
心電図(ECG)の解釈には専門知識が必要である。本研究は,数発のECG質問応答のための新しいマルチモーダルメタラーニング手法を提案する。
論文参考訳（メタデータ） (2024-10-18T13:48:01Z)
Self-supervised inter-intra period-aware ECG representation learning for detecting atrial fibrillation [41.82319894067087]
そこで本研究では,周期型ECG表現学習手法を提案する。心房細動患者の心電図ではRR間隔の不規則性やP波の欠如を考慮し, 経時的および経時的表現のための特定の事前訓練タスクを開発する。本手法は,発作/持続性心房細動検出のためのBTCHデータセット,textiti., 0.953/0.996におけるAUCの顕著な性能を示す。
論文参考訳（メタデータ） (2024-10-08T10:03:52Z)
ECG-FM: An Open Electrocardiogram Foundation Model [3.611746032873298]
本稿では,ECG分析のためのオープン基盤モデルであるECG-FMを提案する。 ECG-FMはトランスフォーマーベースのアーキテクチャを採用し、250万のサンプルで事前訓練されている。文脈情報のコマンドが強靭なパフォーマンス、豊富な事前学習された埋め込み、信頼性のある解釈可能性をもたらすことを示す。
論文参考訳（メタデータ） (2024-08-09T17:06:49Z)
VizECGNet: Visual ECG Image Network for Cardiovascular Diseases Classification with Multi-Modal Training and Knowledge Distillation [0.7405975743268344]
実際には、ECGデータはデジタル化された信号または印刷された画像として格納される。本稿では,複数の心血管疾患の予後を決定するために,心電図のみを用いたVizECGNetを提案する。
論文参考訳（メタデータ） (2024-08-06T01:34:43Z)
MEIT: Multi-Modal Electrocardiogram Instruction Tuning on Large Language Models for Report Generation [41.324530807795256]
心電図(Electrocardiogram、ECG)は、心臓の状態をモニタリングするための主要な非侵襲的診断ツールである。最近の研究は心電図データを用いた心臓状態の分類に集中しているが、心電図レポートの生成は見落としている。 LLMとマルチモーダル命令を用いてECGレポート生成に取り組む最初の試みであるMultimodal ECG Instruction Tuning (MEIT) フレームワークを提案する。
論文参考訳（メタデータ） (2024-03-07T23:20:56Z)
RAD-DINO: Exploring Scalable Medical Image Encoders Beyond Text Supervision [44.00149519249467]
言語による事前学習は、画像から意味論的に意味のある特徴を抽出する貴重な方法であることが証明されている。生体画像エンコーダRAD-DINOについて検討した。
論文参考訳（メタデータ） (2024-01-19T17:02:17Z)
ECGBERT: Understanding Hidden Language of ECGs with Self-Supervised Representation Learning [6.0106590095197605]
ECGBERTは、ECGの基本言語をアンロックする自己教師付き表現学習アプローチである。我々は,ECGBERTが様々なタスクで最先端の成果を得られる可能性を実証する。
論文参考訳（メタデータ） (2023-06-10T04:23:08Z)
PulseNet: Deep Learning ECG-signal classification using random augmentation policy and continous wavelet transform for canines [46.09869227806991]
犬心電図(ECG)の評価には熟練した獣医が必要である。心電図の解釈と診断支援のための獣医師の現在の利用状況は限られている。犬の心電図配列を正常または異常と分類するためのディープ畳み込みニューラルネットワーク(CNN)アプローチを実装した。
論文参考訳（メタデータ） (2023-05-17T09:06:39Z)
Automated Cardiovascular Record Retrieval by Multimodal Learning between Electrocardiogram and Clinical Report [28.608260758775316]
本稿では,Large Language Models (LLM) と Vision-Transformer (ViT) モデルにおける最近のブレークスルーを活用し,ECGの解釈に新たなアプローチを導入する。入力ECGデータに基づいて,最も類似した症例を自動的に同定する手法を提案する。本研究は,未開発地域において診断サービスを提供する上で重要な資源となる可能性がある。
論文参考訳（メタデータ） (2023-04-13T06:32:25Z)
Co-Heterogeneous and Adaptive Segmentation from Multi-Source and Multi-Phase CT Imaging Data: A Study on Pathological Liver and Lesion Segmentation [48.504790189796836]
我々は,新しいセグメンテーション戦略,コヘテロジネティック・アダプティブセグメンテーション(CHASe)を提案する。本稿では,外見に基づく半スーパービジョン,マスクに基づく対向ドメイン適応,擬似ラベルを融合した多目的フレームワークを提案する。 CHASeは4.2% sim 9.4%$の範囲で、病理的な肝臓マスクDice-Sorensen係数をさらに改善することができる。
論文参考訳（メタデータ） (2020-05-27T06:58:39Z)
ECG-DelNet: Delineation of Ambulatory Electrocardiograms with Mixed Quality Labeling Using Neural Networks [69.25956542388653]
ディープラーニング(DL)アルゴリズムは、学術的、産業的にも重くなっている。セグメンテーションフレームワークにECGの検出とデライン化を組み込むことにより、低解釈タスクにDLをうまく適用できることを実証する。このモデルは、PhyloNetのQTデータベースを使用して、105個の増幅ECG記録から訓練された。
論文参考訳（メタデータ） (2020-05-11T16:29:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。