論文の概要: EchoFM: Foundation Model for Generalizable Echocardiogram Analysis
- arxiv url: http://arxiv.org/abs/2410.23413v1
- Date: Wed, 30 Oct 2024 19:32:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-01 17:01:58.042994
- Title: EchoFM: Foundation Model for Generalizable Echocardiogram Analysis
- Title（参考訳）: EchoFM:一般心エコー解析の基礎モデル
- Authors: Sekeun Kim, Pengfei Jin, Sifan Song, Cheng Chen, Yiwei Li, Hui Ren, Xiang Li, Tianming Liu, Quanzheng Li,
- Abstract要約: 心エコービデオの表現と解析に特化して設計された基礎モデルであるEchoFMを紹介する。
EchoFMでは,空間的および時間的変動の両方をキャプチャする自己教師型学習フレームワークを提案する。
我々は,290,000本以上の心エコービデオと最大2000万フレームの画像からなる広範囲なデータセット上で,我々のモデルを事前訓練した。
- 参考スコア（独自算出の注目度）: 22.585990526913246
- License:
- Abstract: Foundation models have recently gained significant attention because of their generalizability and adaptability across multiple tasks and data distributions. Although medical foundation models have emerged, solutions for cardiac imaging, especially echocardiography videos, are still unexplored. In this paper, we introduce EchoFM, a foundation model specifically designed to represent and analyze echocardiography videos. In EchoFM, we propose a self-supervised learning framework that captures both spatial and temporal variability patterns through a spatio-temporal consistent masking strategy and periodic-driven contrastive learning. This framework can effectively capture the spatio-temporal dynamics of echocardiography and learn the representative video features without any labels. We pre-train our model on an extensive dataset comprising over 290,000 echocardiography videos covering 26 scan views across different imaging modes, with up to 20 million frames of images. The pre-trained EchoFM can then be easily adapted and fine-tuned for a variety of downstream tasks, serving as a robust backbone model. Our evaluation was systemically designed for four downstream tasks after the echocardiography examination routine. Experiment results show that EchoFM surpasses state-of-the-art methods, including specialized echocardiography methods, self-supervised pre-training models, and general-purposed pre-trained foundation models, across all downstream tasks.
- Abstract（参考訳）: ファウンデーションモデルは、複数のタスクやデータ分布にまたがる一般化性と適応性により、近年大きな注目を集めている。
医療基礎モデルが登場したが、心臓画像、特に心エコービデオの解決策はまだ解明されていない。
本稿では,心エコービデオの表現と解析を目的とした基礎モデルであるEchoFMを紹介する。
本研究では,空間的および時間的変動パターンを時空間一貫したマスキング戦略と周期的駆動型コントラスト学習によって捉える自己教師型学習フレームワークを提案する。
このフレームワークは、心エコー図の時空間的ダイナミクスを効果的に捉え、ラベルなしで代表的ビデオ特徴を学習することができる。
290,000枚以上のエコー心エコービデオから、画像のフレームが最大2000万枚まで、様々な画像モードで26のスキャンビューをカバーできる広範囲なデータセット上で、我々のモデルを事前訓練する。
事前トレーニングされたEchoFMは、さまざまな下流タスクに容易に適応および微調整することができ、堅牢なバックボーンモデルとして機能する。
心エコー検査を施行した後の4つの下流課題に対して,システム的に評価を行った。
実験の結果,EchoFMは,専門的な心エコー法,自己教師付き事前トレーニングモデル,汎用的な事前トレーニングベースモデルなど,すべての下流タスクにまたがる最先端の手法を超越していることがわかった。
関連論文リスト
- EchoApex: A General-Purpose Vision Foundation Model for Echocardiography [9.202542805578432]
本稿では,初の汎用視覚基礎モデルであるEchoApexを紹介し,様々な臨床応用について紹介する。
自己教師付き学習を活用して、EchoApexは11の臨床センターから2000万以上のエコー画像に事前訓練されている。
最先端のタスク固有のモデルと比較すると、EchoApexは統一されたイメージエンコーディングアーキテクチャでパフォーマンスが改善されている。
論文 参考訳（メタデータ） (2024-10-14T21:10:56Z) - EchoPrime: A Multi-Video View-Informed Vision-Language Model for Comprehensive Echocardiography Interpretation [1.0840985826142429]
私たちは、1200万以上のビデオレポートペアでトレーニングされた、マルチビュー、ビューインフォームド、ビデオベースの視覚言語基盤モデルであるEchoPrimeを紹介します。
検索強化された解釈により、EchoPrimeはすべてのエコー心エコービデオから情報を総合的な研究に統合する。
2つの独立した医療システムからのデータセットでは、EchoPrimeは23種類の心臓形態と機能のベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-10-13T03:04:22Z) - Towards a vision foundation model for comprehensive assessment of Cardiac MRI [11.838157772803282]
心臓磁気共鳴画像(CMR)評価のための視覚基礎モデルを提案する。
CMRワークフローに典型的な9つの臨床的タスクについて、教師付き方法でモデルを微調整する。
すべてのタスクにおいて、ラベル付きデータセットサイズの範囲で、精度と堅牢性が改善されたことを実証する。
論文 参考訳（メタデータ） (2024-10-02T15:32:01Z) - Sequence-aware Pre-training for Echocardiography Probe Guidance [66.35766658717205]
心臓超音波は、(1)心臓の本質的に複雑な構造、(2)重要な個人差の2つの大きな課題に直面している。
これまでの研究は、心臓のパーソナライズされた構造的特徴よりも、心臓の2Dおよび3Dの人口平均構造についてしか学ばなかった。
パーソナライズされた2次元と3次元の心構造特徴を学習するためのシーケンス認識型自己教師付き事前学習法を提案する。
論文 参考訳（メタデータ） (2024-08-27T12:55:54Z) - Unlocking the Power of Spatial and Temporal Information in Medical Multimodal Pre-training [99.2891802841936]
我々は,空間的・時間的微粒なモデリングのためのMed-STフレームワークを提案する。
空間モデリングでは、Med-STはMixture of View Expert (MoVE)アーキテクチャを使用して、正面と横の両方のビューから異なる視覚的特徴を統合する。
時間的モデリングのために,フォワードマッピング分類 (FMC) とリバースマッピング回帰 (RMR) による新たな双方向サイクル整合性目標を提案する。
論文 参考訳（メタデータ） (2024-05-30T03:15:09Z) - Automatic Cardiac Pathology Recognition in Echocardiography Images Using Higher Order Dynamic Mode Decomposition and a Vision Transformer for Small Datasets [2.0286377328378737]
心臓病は、人間の機能不全の主な原因だ。WHOによると、心臓病のために毎年約1800万人が死亡している。
本研究では,新しい深層学習フレームワークに基づく自動心臓病理診断システムを提案する。
論文 参考訳（メタデータ） (2024-04-30T14:16:45Z) - MUSCLE: Multi-task Self-supervised Continual Learning to Pre-train Deep
Models for X-ray Images of Multiple Body Parts [63.30352394004674]
MUSCLE(Multi-task Self-super-vised Continual Learning)は、医用画像処理タスクのための、新しい自己教師付き事前学習パイプラインである。
MUSCLEは、複数の身体部分から収集したX線を集約して表現学習を行い、よく設計された連続学習手順を採用する。
肺炎分類,骨格異常分類,肺セグメンテーション,結核(TB)検出など,9つの実世界のX線データセットを用いてMUSCLEを評価する。
論文 参考訳（メタデータ） (2023-10-03T12:19:19Z) - GEMTrans: A General, Echocardiography-based, Multi-Level Transformer
Framework for Cardiovascular Diagnosis [14.737295160286939]
視覚ベースの機械学習(ML)手法は、検証の二次レイヤとして人気を集めている。
本稿では,説明可能性を提供する汎用のマルチレベルトランス(GEMTrans)フレームワークを提案する。
大動脈狭窄症(AS)の重症度検出と排卵率(EF)の2つの重要な課題を考慮し,本フレームワークの柔軟性を示す。
論文 参考訳（メタデータ） (2023-08-25T07:30:18Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳（メタデータ） (2023-06-20T22:21:34Z) - Ambiguous Medical Image Segmentation using Diffusion Models [60.378180265885945]
我々は,グループ洞察の分布を学習することで,複数の可算出力を生成する単一拡散モデルに基づくアプローチを提案する。
提案モデルでは,拡散の固有のサンプリングプロセスを利用してセグメンテーションマスクの分布を生成する。
その結果,提案手法は既存の最先端曖昧なセグメンテーションネットワークよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-04-10T17:58:22Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳（メタデータ） (2021-07-07T19:06:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。