論文の概要: Exploring Finetuned Audio-LLM on Heart Murmur Features

• arxiv url: http://arxiv.org/abs/2501.13884v1
• Date: Thu, 23 Jan 2025 17:57:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:55:41.479472
• Title: Exploring Finetuned Audio-LLM on Heart Murmur Features
• Title（参考訳）: 心室機能に関する微調整オーディオLLMの探索
• Authors: Adrian Florea, Xilin Jiang, Nima Mesgarani, Xiaofan Jiang,
• Abstract要約: 音声のための大規模言語モデル(LLM)は、人間の音声、音楽、環境音の認識と分析に長けている。 本研究は, 心エコーによる心血管疾患の診断に焦点を当てた。
• 参考スコア（独自算出の注目度）: 13.529024158003233
• License:
• Abstract: Large language models (LLMs) for audio have excelled in recognizing and analyzing human speech, music, and environmental sounds. However, their potential for understanding other types of sounds, particularly biomedical sounds, remains largely underexplored despite significant scientific interest. In this study, we focus on diagnosing cardiovascular diseases using phonocardiograms, i.e., heart sounds. Most existing deep neural network (DNN) paradigms are restricted to heart murmur classification (healthy vs unhealthy) and do not predict other acoustic features of the murmur such as timing, grading, harshness, pitch, and quality, which are important in helping physicians diagnose the underlying heart conditions. We propose to finetune an audio LLM, Qwen2-Audio, on the PhysioNet CirCor DigiScope phonocardiogram (PCG) dataset and evaluate its performance in classifying 11 expert-labeled murmur features. Additionally, we aim to achieve more noise-robust and generalizable system by exploring a preprocessing segmentation algorithm using an audio representation model, SSAMBA. Our results indicate that the LLM-based model outperforms state-of-the-art methods in 8 of the 11 features and performs comparably in the remaining 3. Moreover, the LLM successfully classifies long-tail murmur features with limited training data, a task that all previous methods have failed to classify. These findings underscore the potential of audio LLMs as assistants to human cardiologists in enhancing heart disease diagnosis.
• Abstract（参考訳）: 音声のための大規模言語モデル(LLM)は、人間の音声、音楽、環境音の認識と分析に長けている。 しかし、他の種類の音、特に生物医学的な音を理解する可能性については、科学的に大きな関心があるにもかかわらず、ほとんど解明されていないままである。 本研究は, 心エコーによる心血管疾患の診断に焦点を当てた。 既存のディープニューラルネットワーク(DNN)のパラダイムの多くは、心臓の大腿骨の分類(健康と不健康)に制限されており、医師が心臓の病態を診断するのに重要なタイミング、階調、厳しさ、ピッチ、品質などの他の音響的特徴を予測していない。 そこで我々は,PhystoNet CirCor DigiScope phonocardiogram (PCG) データセットを用いて音声LPM, Qwen2-Audioを微調整し,11個の専門ラベル付き大腿骨機能の評価を行った。 さらに,音声表現モデルであるSSAMBAを用いて,前処理のセグメンテーションアルゴリズムを探索することにより,よりノイズロスで一般化可能なシステムの実現を目指す。 以上の結果から, LLM を用いたモデルでは, 11 つの特徴のうち8 つの特徴のうち8 つが最先端の手法より優れ, 残りの 3 つの特徴が相容れないことが示唆された。 さらに、LLMは、訓練データに制限のある長い尾骨の特徴を分類することに成功している。 これらの知見は,ヒト心臓科医の心臓疾患診断における補聴器としてのLLMの有用性を裏付けるものである。

関連論文リスト

• Model-driven Heart Rate Estimation and Heart Murmur Detection based on Phonocardiogram [4.5546756241897235]
  本研究は, 心電図(PCG)データセットを用いて心拍数を推定する。 マルチタスク学習フレームワークにベストパフォーマンスモデルを拡張し、心拍数推定と大腿骨骨折検出を同時に行う。
  論文  参考訳（メタデータ） (2024-07-25T22:56:21Z)
• Heart Sound Segmentation Using Deep Learning Techniques [0.0]
  本稿では,S1 (LUB) とS2 (DUB) に心音区分けと分類を行う新しい手法を提案する。 我々は、FFTに基づくフィルタリング、イベント検出のための動的プログラミング、ロバストな分類のためのSiameseネットワークを採用している。 本手法は,既存手法と比較して,PASCALの心臓音響データセットに優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-09T05:30:05Z)
• Dr-LLaVA: Visual Instruction Tuning with Symbolic Clinical Grounding [53.629132242389716]
  VLM(Vision-Language Models)は、医用画像を分析し、自然言語の相互作用に関与することによって、臨床医を支援する。 VLMはしばしば「幻覚的」な振る舞いを示し、文脈的マルチモーダル情報に基づかないテキスト出力を生成する。 本稿では,臨床推論の象徴的表現を用いて医療知識にVLMを基盤とする新たなアライメントアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-29T23:19:28Z)
• A Generalizable Deep Learning System for Cardiac MRI [29.429744474335347]
  本稿では,ヒト心血管疾患と健康の広さを表現できる心臓MRIの基礎的ビジョンシステムについて述べる。 深層学習モデルは自己指導型コントラスト学習によって訓練され, 関連する放射線学報告の生テキストからシネケンス心磁図の視覚的概念を学習する。 本研究の深層学習システムは,人間の心血管疾患の停滞する複雑さを理解できるだけでなく,典型的にはこれらの課題に必要とされるトレーニングデータのごく一部を応用した,目覚しい臨床段階の診断精度をもたらす臨床上の問題に向けることができることを示す。
  論文  参考訳（メタデータ） (2023-12-01T05:27:29Z)
• Show from Tell: Audio-Visual Modelling in Clinical Settings [58.88175583465277]
  臨床環境でのオーディオ・ビジュアル・モデリングを考察し、人間の専門的アノテーションを使わずに医学的表現を学習するためのソリューションを提供する。 この目的のために, 単純かつ効果的なマルチモーダル自己教師型学習フレームワークを提案する。 提案手法は,音声のみを基準として,超音波画像中の解剖学的関心領域をローカライズすることができる。
  論文  参考訳（メタデータ） (2023-10-25T08:55:48Z)
• Deep Feature Learning for Medical Acoustics [78.56998585396421]
  本研究の目的は,医療音響の課題における学習内容の比較である。 ヒトの呼吸音と心臓の鼓動を健康的または病態の影響の2つのカテゴリに分類する枠組みが実装されている。
  論文  参考訳（メタデータ） (2022-08-05T10:39:37Z)
• MyoPS: A Benchmark of Myocardial Pathology Segmentation Combining Three-Sequence Cardiac Magnetic Resonance Images [84.02849948202116]
  本研究は,MyoPS(MyoPS)の医療画像解析における新たな課題を定義するものである。 myoPSは、MICCAI 2020とともにMyoPSチャレンジで最初に提案された3シーケンスの心臓磁気共鳴(CMR)画像を組み合わせている。 この課題は45対のCMR画像と予め整列されたCMR画像を提供し、アルゴリズムは3つのCMRシーケンスから補完的な情報を結合して病理領域を分割することを可能にする。
  論文  参考訳（メタデータ） (2022-01-10T06:37:23Z)
• Segmentation-free Heart Pathology Detection Using Deep Learning [12.065014651638943]
  本研究では,新しいセグメンテーションフリー心音分類法を提案する。 具体的には、離散ウェーブレット変換を用いて信号をノイズ化し、続いて特徴抽出と特徴量削減を行う。 サポートベクトルマシンとディープニューラルネットワークは分類に使用される。
  論文  参考訳（メタデータ） (2021-08-09T16:09:30Z)
• A Visual Domain Transfer Learning Approach for Heartbeat Sound Classification [0.0]
  心臓病は人間の死亡の最も一般的な理由であり、世界中で約3分の1が死亡している。 疾患の早期発見は患者の生存率を高め、心臓病の徴候を早期に検出する方法がいくつかある。 本研究は、クリーン化および正規化された心音を視覚メルスケールスペクトログラムに変換し、視覚領域変換学習手法を用いて、心音の特徴を自動的に抽出し分類することを提案する。
  論文  参考訳（メタデータ） (2021-07-28T09:41:38Z)
• Noise-Resilient Automatic Interpretation of Holter ECG Recordings [67.59562181136491]
  本稿では,ホルター記録を雑音に頑健に解析する3段階プロセスを提案する。 第1段階は、心拍位置を検出する勾配デコーダアーキテクチャを備えたセグメンテーションニューラルネットワーク(NN)である。 第2段階は、心拍を幅または幅に分類する分類NNである。 第3のステージは、NN機能の上に、患者対応機能を組み込んだ強化決定木(GBDT)である。
  論文  参考訳（メタデータ） (2020-11-17T16:15:49Z)
• A Global Benchmark of Algorithms for Segmenting Late Gadolinium-Enhanced Cardiac Magnetic Resonance Imaging [90.29017019187282]
  現在世界最大の心臓LGE-MRIデータセットである154個の3D LGE-MRIを用いた「2018 left Atrium Challenge」。 技術および生物学的指標を用いた提案アルゴリズムの解析を行った。 その結果, 最上部法は93.2%, 平均表面は0.7mmであった。
  論文  参考訳（メタデータ） (2020-04-26T08:49:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。