Fugu-MT 論文翻訳(概要): Multimodal Foundation Models For Echocardiogram Interpretation

論文の概要: Multimodal Foundation Models For Echocardiogram Interpretation

arxiv url: http://arxiv.org/abs/2308.15670v1
Date: Tue, 29 Aug 2023 23:45:54 GMT
ステータス: 処理完了
システム内更新日: 2023-08-31 15:11:47.757922
Title: Multimodal Foundation Models For Echocardiogram Interpretation
Title（参考訳）: 心エコー図解釈のためのマルチモーダル基礎モデル
Authors: Matthew Christensen, Milos Vukadinovic, Neal Yuan, David Ouyang
Abstract要約: 1,032,975個の心エコービデオとそれに対応する専門的解釈を用いて,EchoCLIPを開発した。 EchoCLIPは、心臓機能評価において強いゼロショット(明示的に訓練されていない)パフォーマンスを示す。また,エコーCLIP-R (Long-context variant, EchoCLIP-R) も開発した。
参考スコア（独自算出の注目度）: 0.24578723416255746
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Multimodal deep learning foundation models can learn the relationship between images and text. In the context of medical imaging, mapping images to language concepts reflects the clinical task of diagnostic image interpretation, however current general-purpose foundation models do not perform well in this context because their training corpus have limited medical text and images. To address this challenge and account for the range of cardiac physiology, we leverage 1,032,975 cardiac ultrasound videos and corresponding expert interpretations to develop EchoCLIP, a multimodal foundation model for echocardiography. EchoCLIP displays strong zero-shot (not explicitly trained) performance in cardiac function assessment (external validation left ventricular ejection fraction mean absolute error (MAE) of 7.1%) and identification of implanted intracardiac devices (areas under the curve (AUC) between 0.84 and 0.98 for pacemakers and artificial heart valves). We also developed a long-context variant (EchoCLIP-R) with a custom echocardiography report text tokenizer which can accurately identify unique patients across multiple videos (AUC of 0.86), identify clinical changes such as orthotopic heart transplants (AUC of 0.79) or cardiac surgery (AUC 0.77), and enable robust image-to-text search (mean cross-modal retrieval rank in the top 1% of candidate text reports). These emergent capabilities can be used for preliminary assessment and summarization of echocardiographic findings.
Abstract（参考訳）: マルチモーダルディープラーニング基盤モデルは、画像とテキストの関係を学習することができる。医療画像の文脈では、画像の言語概念へのマッピングは、診断画像解釈の臨床的タスクを反映するが、現在の汎用基盤モデルは、医療用テキストや画像に制限があるため、この文脈ではうまく機能しない。この課題に対処し, 心臓生理学の範囲を考慮し, 1,032,975 の心エコービデオとそれに対応する専門的解釈を用いて, 心エコー図用マルチモーダル基礎モデル echoclip を開発した。 EchoCLIPは、心臓機能評価(外的検証左室排出率平均絶対誤差(MAE)7.1%)と移植心内デバイス(ペースメーカーと人工心臓弁の0.84から0.98の曲線下)の同定において、強いゼロショット(明示的に訓練されていない)性能を示す。また,複数のビデオ(auc 0.86)にまたがる特異な患者を正確に識別し,心臓移植(auc 0.79)や心臓手術(auc 0.77)などの臨床変化を識別し,堅牢な画像対テキスト検索(候補テキストレポートのトップ1%のクロスモーダル検索ランク)を可能にする,独自の心エコー検査レポートテキストトークン化装置(echoclip-r)を開発した。これらの創発的能力は、心エコー図所見の予備的評価と要約に使用できる。

関連論文リスト

Integrating Deep Learning with Fundus and Optical Coherence Tomography for Cardiovascular Disease Prediction [47.7045293755736]
心血管疾患(CVD)のリスクのある患者の早期発見は、効果的な予防ケア、医療負担の軽減、患者の生活の質の向上に不可欠である。本研究は、網膜光コヒーレンス断層撮影(OCT)と眼底写真との併用による、将来の心疾患の特定の可能性を示すものである。そこで我々は,MCVAE(Multi- Channel Variational Autoencoder)に基づく新たなバイナリ分類ネットワークを提案し,患者の眼底画像とOCT画像の潜伏埋め込みを学習し,個人を将来CVDを発症する可能性のあるものとそうでないものとの2つのグループに分類する。
論文参考訳（メタデータ） (2024-10-18T12:37:51Z)
EchoPrime: A Multi-Video View-Informed Vision-Language Model for Comprehensive Echocardiography Interpretation [1.0840985826142429]
私たちは、1200万以上のビデオレポートペアでトレーニングされた、マルチビュー、ビューインフォームド、ビデオベースの視覚言語基盤モデルであるEchoPrimeを紹介します。検索強化された解釈により、EchoPrimeはすべてのエコー心エコービデオから情報を総合的な研究に統合する。 2つの独立した医療システムからのデータセットでは、EchoPrimeは23種類の心臓形態と機能のベンチマークで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-10-13T03:04:22Z)
CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios [53.94122089629544]
我々は,CT-GLIP(Grounded Language- Image Pretraining with CT scans)を導入する。本手法は,104臓器にわたる17,702症例を対象に,44,011例の臓器レベルの視覚テキストペアからなるマルチモーダルCTデータセットを用いて訓練し,自然言語を用いて臓器と異常をゼロショットで識別できることを実証した。
論文参考訳（メタデータ） (2024-04-23T17:59:01Z)
Echocardiogram Foundation Model -- Application 1: Estimating Ejection Fraction [2.4164193358532438]
心エコー基礎モデルであるエコーAIを導入し,150万個の心エコーを用いて自己教師付き学習(SSL)を用いて訓練した。我々は,EchoAIを微調整し,平均絶対パーセンテージ誤差を9.40%と評価した。
論文参考訳（メタデータ） (2023-11-21T13:00:03Z)
Beyond Images: An Integrative Multi-modal Approach to Chest X-Ray Report Generation [47.250147322130545]
画像からテキストまでの放射線学レポート生成は,医療画像の発見を記述した放射線学レポートを自動生成することを目的としている。既存の方法の多くは画像データのみに焦点をあてており、他の患者情報は放射線科医に公開されていない。胸部X線レポートを生成するための多モードディープニューラルネットワークフレームワークを,非構造的臨床ノートとともにバイタルサインや症状などの構造化された患者データを統合することで提案する。
論文参考訳（メタデータ） (2023-11-18T14:37:53Z)
M(otion)-mode Based Prediction of Ejection Fraction using Echocardiograms [13.112371567924802]
心エコー図のM(otion)モードを用いて左室流出率(EF)を推定し,心筋症を分類する。心エコー図から複数の人工Mモード画像を生成し,既製のモデルアーキテクチャを用いて組み合わせる。実験の結果,教師付き設定は10モードで収束し,ベースライン法に匹敵することがわかった。
論文参考訳（メタデータ） (2023-09-07T15:00:58Z)
Multi-scale, Data-driven and Anatomically Constrained Deep Learning Image Registration for Adult and Fetal Echocardiography [4.923733944174007]
胎児と成人のエコーにおける深層学習画像登録のための3つの戦略を組み合わせた枠組みを提案する。以上の結果から, 良好な解剖学的トポロジーと画像テクスチャは, 形状符号化およびデータ駆動型対向損失と強く結びついていることが判明した。当社のアプローチは,光学フローやElastixなど,従来の非DLゴールド登録手法よりも優れています。
論文参考訳（メタデータ） (2023-09-02T05:33:31Z)
GEMTrans: A General, Echocardiography-based, Multi-Level Transformer Framework for Cardiovascular Diagnosis [14.737295160286939]
視覚ベースの機械学習(ML)手法は、検証の二次レイヤとして人気を集めている。本稿では,説明可能性を提供する汎用のマルチレベルトランス(GEMTrans)フレームワークを提案する。大動脈狭窄症(AS)の重症度検出と排卵率(EF)の2つの重要な課題を考慮し,本フレームワークの柔軟性を示す。
論文参考訳（メタデータ） (2023-08-25T07:30:18Z)
Self-supervised contrastive learning of echocardiogram videos enables label-efficient cardiac disease diagnosis [48.64462717254158]
心エコービデオを用いた自己教師型コントラスト学習手法であるエコーCLRを開発した。左室肥大症 (LVH) と大動脈狭窄症 (AS) の分類成績は,EchoCLR の訓練により有意に改善した。 EchoCLRは、医療ビデオの表現を学習する能力に特有であり、SSLがラベル付きデータセットからラベル効率の高い疾患分類を可能にすることを実証している。
論文参考訳（メタデータ） (2022-07-23T19:17:26Z)
Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation [107.3538598876467]
放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。 ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
論文参考訳（メタデータ） (2020-06-06T01:00:15Z)
Co-Heterogeneous and Adaptive Segmentation from Multi-Source and Multi-Phase CT Imaging Data: A Study on Pathological Liver and Lesion Segmentation [48.504790189796836]
我々は,新しいセグメンテーション戦略,コヘテロジネティック・アダプティブセグメンテーション(CHASe)を提案する。本稿では,外見に基づく半スーパービジョン,マスクに基づく対向ドメイン適応,擬似ラベルを融合した多目的フレームワークを提案する。 CHASeは4.2% sim 9.4%$の範囲で、病理的な肝臓マスクDice-Sorensen係数をさらに改善することができる。
論文参考訳（メタデータ） (2020-05-27T06:58:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。