論文の概要: De-biased Multimodal Electrocardiogram Analysis

• arxiv url: http://arxiv.org/abs/2411.14795v1
• Date: Fri, 22 Nov 2024 08:35:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:03:17.993988
• Title: De-biased Multimodal Electrocardiogram Analysis
• Title（参考訳）: 脱バイアス多モード心電図解析
• Authors: Haitao Li, Ziyu Li, Yiheng Mao, Ziyi Liu, Zhoujian Sun, Zhengxing Huang,
• Abstract要約: 医療分野ではMLLM(Multimodal large language model)がますます採用されている。 これまでの研究では、ECGを複数のテキストタグに変換することでこの問題に対処してきた。 本研究は,射影層を通したLCMへのECGの埋め込みを直接供給する。
• 参考スコア（独自算出の注目度）: 20.290531515033518
• License:
• Abstract: Multimodal large language models (MLLMs) are increasingly being applied in the medical field, particularly in medical imaging. However, developing MLLMs for ECG signals, which are crucial in clinical settings, has been a significant challenge beyond medical imaging. Previous studies have attempted to address this by converting ECGs into several text tags using an external classifier in a training-free manner. However, this approach significantly compresses the information in ECGs and underutilizes the reasoning capabilities of LLMs. In this work, we directly feed the embeddings of ECGs into the LLM through a projection layer, retaining more information about ECGs and better leveraging the reasoning abilities of LLMs. Our method can also effectively handle a common situation in clinical practice where it is necessary to compare two ECGs taken at different times. Recent studies found that MLLMs may rely solely on text input to provide answers, ignoring inputs from other modalities. We analyzed this phenomenon from a causal perspective in the context of ECG MLLMs and discovered that the confounder, severity of illness, introduces a spurious correlation between the question and answer, leading the model to rely on this spurious correlation and ignore the ECG input. Such models do not comprehend the ECG input and perform poorly in adversarial tests where different expressions of the same question are used in the training and testing sets. We designed a de-biased pre-training method to eliminate the confounder's effect according to the theory of backdoor adjustment. Our model performed well on the ECG-QA task under adversarial testing and demonstrated zero-shot capabilities. An interesting random ECG test further validated that our model effectively understands and utilizes the input ECG signal.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)は医療分野、特に医用画像においてますます応用されている。 しかし,心電図信号のためのMLLMの開発は,臨床現場において重要な課題であり,医用画像よりも重要な課題であった。 従来の研究では、ECGを外部分類器を用いて複数のテキストタグに変換する訓練自由な方法で、この問題に対処しようと試みてきた。 しかし、このアプローチはECGの情報を著しく圧縮し、LLMの推論能力を弱めている。 本研究では,ECGの射影層への埋め込みを直接供給し,ECGのさらなる情報を保持し,LCMの推論能力を向上する。 本手法は,2つの心電図を異なる時間で比較する必要がある臨床実践において,一般的な状況でも効果的に対処できる。 近年の研究では、MLLMはテキスト入力にのみ依存して回答を提供し、他のモダリティからの入力を無視している可能性がある。 我々は,この現象を心電図MLLMの文脈における因果的視点から分析し,共同創設者の重症度が質問と回答の間に急激な相関を導入し,この素因的な相関に頼ってECG入力を無視することを発見した。 このようなモデルはECGの入力を理解せず、同じ質問の異なる表現がトレーニングやテストセットで使用される場合の敵検定では不十分である。 バックドア調整理論に基づき, 共同創設者の効果を除去するための非バイアス事前学習法を考案した。 本モデルは, 対向試験におけるECG-QAタスクにおいて良好に動作し, ゼロショット機能を示した。 興味深いランダムECGテストにより,入力ECG信号を効果的に理解し,活用できることが検証された。

関連論文リスト

• Teach Multimodal LLMs to Comprehend Electrocardiographic Images [10.577263066644194]
  我々は、100万以上のサンプルからなる総合的なECGイメージインストラクションチューニングデータセットであるECGInstructを紹介する。 また,心電図の理解に適したMLLMであるPULSEを開発した。 実験の結果,PULSEは従来のMLLMよりも15%から30%の精度向上を実現した。
  論文  参考訳（メタデータ） (2024-10-21T20:26:41Z)
• Electrocardiogram-Language Model for Few-Shot Question Answering with Meta Learning [19.513904491604794]
  心電図(ECG)の解釈には専門知識が必要である。 本研究は,数発のECG質問応答のための新しいマルチモーダルメタラーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T13:48:01Z)
• Self-supervised inter-intra period-aware ECG representation learning for detecting atrial fibrillation [41.82319894067087]
  そこで本研究では,周期型ECG表現学習手法を提案する。 心房細動患者の心電図ではRR間隔の不規則性やP波の欠如を考慮し, 経時的および経時的表現のための特定の事前訓練タスクを開発する。 本手法は,発作/持続性心房細動検出のためのBTCHデータセット,textiti., 0.953/0.996におけるAUCの顕著な性能を示す。
  論文  参考訳（メタデータ） (2024-10-08T10:03:52Z)
• Electrocardiogram Report Generation and Question Answering via Retrieval-Augmented Self-Supervised Modeling [19.513904491604794]
  ECG-ReGenは、ECG-to-textレポート生成と質問応答のための検索ベースのアプローチである。 事前学習と動的検索とLarge Language Model(LLM)ベースの改善を組み合わせることで、ECG-ReGenはECGデータと関連するクエリを効果的に分析する。
  論文  参考訳（メタデータ） (2024-09-13T12:50:36Z)
• ECG-FM: An Open Electrocardiogram Foundation Model [3.611746032873298]
  本稿では,ECG分析のためのオープン基盤モデルであるECG-FMを提案する。 ECG-FMはトランスフォーマーベースのアーキテクチャを採用し、250万のサンプルで事前訓練されている。 文脈情報のコマンドが強靭なパフォーマンス、豊富な事前学習された埋め込み、信頼性のある解釈可能性をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-08-09T17:06:49Z)
• MEIT: Multi-Modal Electrocardiogram Instruction Tuning on Large Language Models for Report Generation [41.324530807795256]
  心電図(Electrocardiogram、ECG)は、心臓の状態をモニタリングするための主要な非侵襲的診断ツールである。 最近の研究は心電図データを用いた心臓状態の分類に集中しているが、心電図レポートの生成は見落としている。 LLMとマルチモーダル命令を用いてECGレポート生成に取り組む最初の試みであるMultimodal ECG Instruction Tuning (MEIT) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-07T23:20:56Z)
• PulseNet: Deep Learning ECG-signal classification using random augmentation policy and continous wavelet transform for canines [46.09869227806991]
  犬心電図(ECG)の評価には熟練した獣医が必要である。 心電図の解釈と診断支援のための獣医師の現在の利用状況は限られている。 犬の心電図配列を正常または異常と分類するためのディープ畳み込みニューラルネットワーク(CNN)アプローチを実装した。
  論文  参考訳（メタデータ） (2023-05-17T09:06:39Z)
• SEVGGNet-LSTM: a fused deep learning model for ECG classification [38.747030782394646]
  入力ECG信号はまずセグメント化され、正規化され、その後、特徴抽出と分類のためにVGGとLSTMネットワークに入力される。 注目機構(SEブロック)をコアネットワークに組み込んで重要な特徴の重み付けを行う。
  論文  参考訳（メタデータ） (2022-10-31T07:36:48Z)
• Continuous Decoding of Daily-Life Hand Movements from Forearm Muscle Activity for Enhanced Myoelectric Control of Hand Prostheses [78.120734120667]
  本研究では,前腕のEMG活性をハンドキネマティクスに連続的にマップする,長期記憶(LSTM)ネットワークに基づく新しい手法を提案する。 私たちの研究は、この困難なデータセットを使用するハンドキネマティクスの予測に関する最初の報告です。 提案手法は, 人工手指の複数のDOFの独立的, 比例的アクティベーションのための制御信号の生成に適していることが示唆された。
  論文  参考訳（メタデータ） (2021-04-29T00:11:32Z)
• ECG-DelNet: Delineation of Ambulatory Electrocardiograms with Mixed Quality Labeling Using Neural Networks [69.25956542388653]
  ディープラーニング(DL)アルゴリズムは、学術的、産業的にも重くなっている。 セグメンテーションフレームワークにECGの検出とデライン化を組み込むことにより、低解釈タスクにDLをうまく適用できることを実証する。 このモデルは、PhyloNetのQTデータベースを使用して、105個の増幅ECG記録から訓練された。
  論文  参考訳（メタデータ） (2020-05-11T16:29:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。