論文の概要: Multimodal Foundation Models For Echocardiogram Interpretation
- arxiv url: http://arxiv.org/abs/2308.15670v2
- Date: Sat, 2 Sep 2023 17:47:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 02:26:53.338715
- Title: Multimodal Foundation Models For Echocardiogram Interpretation
- Title(参考訳): 心エコー図解釈のためのマルチモーダル基礎モデル
- Authors: Matthew Christensen, Milos Vukadinovic, Neal Yuan, David Ouyang
- Abstract要約: 1,032,975個の心エコービデオとそれに対応する専門的解釈を用いて,EchoCLIPを開発した。
EchoCLIPは、心臓機能評価において強いゼロショット(明示的に訓練されていない)パフォーマンスを示す。
また,エコーCLIP-R (Long-context variant, EchoCLIP-R) も開発した。
- 参考スコア(独自算出の注目度): 0.24578723416255746
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Multimodal deep learning foundation models can learn the relationship between
images and text. In the context of medical imaging, mapping images to language
concepts reflects the clinical task of diagnostic image interpretation, however
current general-purpose foundation models do not perform well in this context
because their training corpus have limited medical text and images. To address
this challenge and account for the range of cardiac physiology, we leverage
1,032,975 cardiac ultrasound videos and corresponding expert interpretations to
develop EchoCLIP, a multimodal foundation model for echocardiography. EchoCLIP
displays strong zero-shot (not explicitly trained) performance in cardiac
function assessment (external validation left ventricular ejection fraction
mean absolute error (MAE) of 7.1%) and identification of implanted intracardiac
devices (areas under the curve (AUC) between 0.84 and 0.98 for pacemakers and
artificial heart valves). We also developed a long-context variant (EchoCLIP-R)
with a custom echocardiography report text tokenizer which can accurately
identify unique patients across multiple videos (AUC of 0.86), identify
clinical changes such as orthotopic heart transplants (AUC of 0.79) or cardiac
surgery (AUC 0.77), and enable robust image-to-text search (mean cross-modal
retrieval rank in the top 1% of candidate text reports). These emergent
capabilities can be used for preliminary assessment and summarization of
echocardiographic findings.
- Abstract(参考訳): マルチモーダルディープラーニング基盤モデルは、画像とテキストの関係を学習することができる。
医療画像の文脈では、画像の言語概念へのマッピングは、診断画像解釈の臨床的タスクを反映するが、現在の汎用基盤モデルは、医療用テキストや画像に制限があるため、この文脈ではうまく機能しない。
この課題に対処し, 心臓生理学の範囲を考慮し, 1,032,975 の心エコービデオとそれに対応する専門的解釈を用いて, 心エコー図用マルチモーダル基礎モデル echoclip を開発した。
EchoCLIPは、心臓機能評価(外的検証左室排出率平均絶対誤差(MAE)7.1%)と移植心内デバイス(ペースメーカーと人工心臓弁の0.84から0.98の曲線下)の同定において、強いゼロショット(明示的に訓練されていない)性能を示す。
また,複数のビデオ(auc 0.86)にまたがる特異な患者を正確に識別し,心臓移植(auc 0.79)や心臓手術(auc 0.77)などの臨床変化を識別し,堅牢な画像対テキスト検索(候補テキストレポートのトップ1%のクロスモーダル検索ランク)を可能にする,独自の心エコー検査レポートテキストトークン化装置(echoclip-r)を開発した。
これらの創発的能力は、心エコー図所見の予備的評価と要約に使用できる。
関連論文リスト
- Echocardiogram Foundation Model -- Application 1: Estimating Ejection
Fraction [2.4164193358532438]
心エコー基礎モデルであるエコーAIを導入し,150万個の心エコーを用いて自己教師付き学習(SSL)を用いて訓練した。
我々は,EchoAIを微調整し,平均絶対パーセンテージ誤差を9.40%と評価した。
論文 参考訳(メタデータ) (2023-11-21T13:00:03Z) - M(otion)-mode Based Prediction of Ejection Fraction using
Echocardiograms [13.112371567924802]
心エコー図のM(otion)モードを用いて左室流出率(EF)を推定し,心筋症を分類する。
心エコー図から複数の人工Mモード画像を生成し,既製のモデルアーキテクチャを用いて組み合わせる。
実験の結果,教師付き設定は10モードで収束し,ベースライン法に匹敵することがわかった。
論文 参考訳(メタデータ) (2023-09-07T15:00:58Z) - Multi-scale, Data-driven and Anatomically Constrained Deep Learning
Image Registration for Adult and Fetal Echocardiography [4.923733944174007]
胎児と成人のエコーにおける深層学習画像登録のための3つの戦略を組み合わせた枠組みを提案する。
以上の結果から, 良好な解剖学的トポロジーと画像テクスチャは, 形状符号化およびデータ駆動型対向損失と強く結びついていることが判明した。
当社のアプローチは,光学フローやElastixなど,従来の非DLゴールド登録手法よりも優れています。
論文 参考訳(メタデータ) (2023-09-02T05:33:31Z) - GEMTrans: A General, Echocardiography-based, Multi-Level Transformer
Framework for Cardiovascular Diagnosis [14.737295160286939]
視覚ベースの機械学習(ML)手法は、検証の二次レイヤとして人気を集めている。
本稿では,説明可能性を提供する汎用のマルチレベルトランス(GEMTrans)フレームワークを提案する。
大動脈狭窄症(AS)の重症度検出と排卵率(EF)の2つの重要な課題を考慮し,本フレームワークの柔軟性を示す。
論文 参考訳(メタデータ) (2023-08-25T07:30:18Z) - Learning to diagnose cirrhosis from radiological and histological labels
with joint self and weakly-supervised pretraining strategies [62.840338941861134]
そこで本稿では, 放射線学者が注釈付けした大規模データセットからの転写学習を活用して, 小さい付加データセットで利用できる組織学的スコアを予測することを提案する。
我々は,肝硬変の予測を改善するために,異なる事前訓練法,すなわち弱い指導法と自己指導法を比較した。
この方法は、METAVIRスコアのベースライン分類を上回り、AUCが0.84、バランスの取れた精度が0.75に達する。
論文 参考訳(メタデータ) (2023-02-16T17:06:23Z) - Self-supervised contrastive learning of echocardiogram videos enables
label-efficient cardiac disease diagnosis [48.64462717254158]
心エコービデオを用いた自己教師型コントラスト学習手法であるエコーCLRを開発した。
左室肥大症 (LVH) と大動脈狭窄症 (AS) の分類成績は,EchoCLR の訓練により有意に改善した。
EchoCLRは、医療ビデオの表現を学習する能力に特有であり、SSLがラベル付きデータセットからラベル効率の高い疾患分類を可能にすることを実証している。
論文 参考訳(メタデータ) (2022-07-23T19:17:26Z) - Preservation of High Frequency Content for Deep Learning-Based Medical
Image Classification [74.84221280249876]
大量の胸部ラジオグラフィーの効率的な分析は、医師や放射線技師を助けることができる。
本稿では,視覚情報の効率的な識別と符号化のための離散ウェーブレット変換(DWT)を提案する。
論文 参考訳(メタデータ) (2022-05-08T15:29:54Z) - Semantic segmentation of multispectral photoacoustic images using deep
learning [53.65837038435433]
光音響イメージングは医療に革命をもたらす可能性がある。
この技術の臨床的翻訳には、高次元取得したデータを臨床的に関連性があり解釈可能な情報に変換する必要がある。
本稿では,多スペクトル光音響画像のセマンティックセグメンテーションに対する深層学習に基づくアプローチを提案する。
論文 参考訳(メタデータ) (2021-05-20T09:33:55Z) - Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report
Generation [107.3538598876467]
放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。
ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
論文 参考訳(メタデータ) (2020-06-06T01:00:15Z) - Uncertainty Estimation in Deep 2D Echocardiography Segmentation [0.2062593640149623]
トレーニングデータからさらに離れた分布から来るデータをテストする場合、不確実性推定は重要である。
品質の悪い画像を自動的に拒否し、最先端のセグメンテーション結果を改善するために、不確実性推定がどのように用いられるかを示す。
論文 参考訳(メタデータ) (2020-05-19T10:19:23Z) - A Global Benchmark of Algorithms for Segmenting Late Gadolinium-Enhanced
Cardiac Magnetic Resonance Imaging [90.29017019187282]
現在世界最大の心臓LGE-MRIデータセットである154個の3D LGE-MRIを用いた「2018 left Atrium Challenge」。
技術および生物学的指標を用いた提案アルゴリズムの解析を行った。
その結果, 最上部法は93.2%, 平均表面は0.7mmであった。
論文 参考訳(メタデータ) (2020-04-26T08:49:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。