論文の概要: GEMTrans: A General, Echocardiography-based, Multi-Level Transformer
Framework for Cardiovascular Diagnosis
- arxiv url: http://arxiv.org/abs/2308.13217v1
- Date: Fri, 25 Aug 2023 07:30:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-28 14:52:17.368443
- Title: GEMTrans: A General, Echocardiography-based, Multi-Level Transformer
Framework for Cardiovascular Diagnosis
- Title（参考訳）: GEMTrans : 心血管診断のための一般心エコーを用いた多層トランスフレームワーク
- Authors: Masoud Mokhtari, Neda Ahmadi, Teresa S. M. Tsang, Purang Abolmaesumi,
Renjie Liao
- Abstract要約: 視覚ベースの機械学習(ML)手法は、検証の二次レイヤとして人気を集めている。
本稿では,説明可能性を提供する汎用のマルチレベルトランス(GEMTrans)フレームワークを提案する。
大動脈狭窄症(AS)の重症度検出と排卵率(EF)の2つの重要な課題を考慮し,本フレームワークの柔軟性を示す。
- 参考スコア（独自算出の注目度）: 14.737295160286939
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Echocardiography (echo) is an ultrasound imaging modality that is widely used
for various cardiovascular diagnosis tasks. Due to inter-observer variability
in echo-based diagnosis, which arises from the variability in echo image
acquisition and the interpretation of echo images based on clinical experience,
vision-based machine learning (ML) methods have gained popularity to act as
secondary layers of verification. For such safety-critical applications, it is
essential for any proposed ML method to present a level of explainability along
with good accuracy. In addition, such methods must be able to process several
echo videos obtained from various heart views and the interactions among them
to properly produce predictions for a variety of cardiovascular measurements or
interpretation tasks. Prior work lacks explainability or is limited in scope by
focusing on a single cardiovascular task. To remedy this, we propose a General,
Echo-based, Multi-Level Transformer (GEMTrans) framework that provides
explainability, while simultaneously enabling multi-video training where the
inter-play among echo image patches in the same frame, all frames in the same
video, and inter-video relationships are captured based on a downstream task.
We show the flexibility of our framework by considering two critical tasks
including ejection fraction (EF) and aortic stenosis (AS) severity detection.
Our model achieves mean absolute errors of 4.15 and 4.84 for single and
dual-video EF estimation and an accuracy of 96.5 % for AS detection, while
providing informative task-specific attention maps and prototypical
explainability.
- Abstract（参考訳）: 心エコー法(echo)は、様々な心血管疾患の診断に広く用いられている超音波画像法である。
エコー画像取得の多様性と臨床経験に基づくエコー画像の解釈から生じるエコーベースの診断におけるオブザーバ間のばらつきにより、視覚ベースの機械学習(ML)手法は、二次的な検証層としての役割を担っている。
このような安全クリティカルなアプリケーションにとって、提案するML手法は、高い精度で説明可能性のレベルを示すことが不可欠である。
さらに、このような方法では、様々な心臓のビューとそれらの相互作用から得られた複数のエコービデオを処理し、様々な心血管計測や解釈タスクの予測を適切に生成する必要がある。
以前の作業は説明可能性に欠けており、単一の心血管系タスクに集中することで範囲が限られている。
そこで本研究では,同一フレーム内のエコーイメージパッチ,同一ビデオ内の全フレーム,および下流タスクに基づいてビデオ間関係をキャプチャするマルチビデオトレーニングを実現すると同時に,説明可能性を提供する汎用的なエコーベース多レベルトランスフォーマ(gemtrans)フレームワークを提案する。
大動脈狭窄症(AS)の重症度検出と排卵率(EF)の2つの重要な課題を考慮し,本フレームワークの柔軟性を示す。
本モデルでは,単一・二重ビデオEF推定における平均絶対誤差4.15と4.84,AS検出における精度96.5 %を実現し,タスク固有の注意マップとプロトタイプによる説明可能性を提供する。
関連論文リスト
- EchoFM: Foundation Model for Generalizable Echocardiogram Analysis [22.585990526913246]
心エコービデオの表現と解析に特化して設計された基礎モデルであるEchoFMを紹介する。
EchoFMでは,空間的および時間的変動の両方をキャプチャする自己教師型学習フレームワークを提案する。
我々は,290,000本以上の心エコービデオと最大2000万フレームの画像からなる広範囲なデータセット上で,我々のモデルを事前訓練した。
論文 参考訳（メタデータ） (2024-10-30T19:32:02Z) - A Multimodal Approach For Endoscopic VCE Image Classification Using BiomedCLIP-PubMedBERT [0.62914438169038]
本稿では,マルチモーダルモデルであるBiomedCLIP PubMedBERTの微細調整によるビデオカプセル内視鏡フレームの異常の分類について述べる。
本手法では, 血管拡張症, 出血, エロージョン, エリテマ, 異物, リンパ管拡張症, ポリープ, 潰瘍, ワーム, 正常の10種類の画像に分類する。
分類、精度、リコール、F1スコアなどのパフォーマンス指標は、内視鏡フレームの異常を正確に識別する強力な能力を示している。
論文 参考訳（メタデータ） (2024-10-25T19:42:57Z) - EchoApex: A General-Purpose Vision Foundation Model for Echocardiography [9.202542805578432]
本稿では,初の汎用視覚基礎モデルであるEchoApexを紹介し,様々な臨床応用について紹介する。
自己教師付き学習を活用して、EchoApexは11の臨床センターから2000万以上のエコー画像に事前訓練されている。
最先端のタスク固有のモデルと比較すると、EchoApexは統一されたイメージエンコーディングアーキテクチャでパフォーマンスが改善されている。
論文 参考訳（メタデータ） (2024-10-14T21:10:56Z) - EchoPrime: A Multi-Video View-Informed Vision-Language Model for Comprehensive Echocardiography Interpretation [1.0840985826142429]
私たちは、1200万以上のビデオレポートペアでトレーニングされた、マルチビュー、ビューインフォームド、ビデオベースの視覚言語基盤モデルであるEchoPrimeを紹介します。
検索強化された解釈により、EchoPrimeはすべてのエコー心エコービデオから情報を総合的な研究に統合する。
2つの独立した医療システムからのデータセットでは、EchoPrimeは23種類の心臓形態と機能のベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-10-13T03:04:22Z) - Efficient Multi-View Fusion and Flexible Adaptation to View Missing in Cardiovascular System Signals [4.519437028632205]
深層学習は、心臓血管系(CVS)信号に関する自動多視点融合(MVF)を促進する。
MVFモデルアーキテクチャは、しばしば同じ時間ステップからCVS信号と一致するが、統一された表現に異なる視点を持つ。
本稿では,事前学習したMVFモデルに対して,様々なシナリオに柔軟に対応するためのプロンプト手法を提案する。
論文 参考訳（メタデータ） (2024-06-13T08:58:59Z) - Adapting Visual-Language Models for Generalizable Anomaly Detection in Medical Images [68.42215385041114]
本稿では,CLIPモデルを用いた医用異常検出のための軽量な多レベル適応と比較フレームワークを提案する。
提案手法では,複数の残像アダプタを事前学習した視覚エンコーダに統合し,視覚的特徴の段階的向上を実現する。
医学的異常検出ベンチマーク実験により,本手法が現在の最先端モデルを大幅に上回っていることが示された。
論文 参考訳（メタデータ） (2024-03-19T09:28:19Z) - Mining Gaze for Contrastive Learning toward Computer-Assisted Diagnosis [61.089776864520594]
医用画像のテキストレポートの代替としてアイトラッキングを提案する。
医用画像を読み,診断する際に放射線科医の視線を追跡することにより,その視覚的注意と臨床的理由を理解することができる。
対照的な学習フレームワークのためのプラグイン・アンド・プレイモジュールとして,McGIP (McGIP) を導入した。
論文 参考訳（メタデータ） (2023-12-11T02:27:45Z) - On Sensitivity and Robustness of Normalization Schemes to Input
Distribution Shifts in Automatic MR Image Diagnosis [58.634791552376235]
深層学習(DL)モデルは、再構成画像を入力として、複数の疾患の診断において最先端のパフォーマンスを達成した。
DLモデルは、トレーニングとテストフェーズ間の入力データ分布の変化につながるため、さまざまなアーティファクトに敏感である。
本稿では,グループ正規化やレイヤ正規化といった他の正規化手法を用いて,画像のさまざまなアーチファクトに対して,モデル性能にロバスト性を注入することを提案する。
論文 参考訳（メタデータ） (2023-06-23T03:09:03Z) - Preservation of High Frequency Content for Deep Learning-Based Medical
Image Classification [74.84221280249876]
大量の胸部ラジオグラフィーの効率的な分析は、医師や放射線技師を助けることができる。
本稿では,視覚情報の効率的な識別と符号化のための離散ウェーブレット変換(DWT)を提案する。
論文 参考訳（メタデータ） (2022-05-08T15:29:54Z) - Factored Attention and Embedding for Unstructured-view Topic-related
Ultrasound Report Generation [70.7778938191405]
本研究では,非構造的トピック関連超音波レポート生成のための新しい因子的注意・埋め込みモデル(FAE-Gen)を提案する。
提案したFAE-Genは主に2つのモジュール、すなわちビュー誘導因子の注意とトピック指向因子の埋め込みから構成されており、異なるビューで均質および不均一な形態的特徴を捉えている。
論文 参考訳（メタデータ） (2022-03-12T15:24:03Z) - Collaborative Unsupervised Domain Adaptation for Medical Image Diagnosis [102.40869566439514]
我々は、Unsupervised Domain Adaptation (UDA)を通じて、対象タスクにおける学習を支援するために、関連ドメインからの豊富なラベル付きデータを活用しようとしている。
クリーンなラベル付きデータやサンプルを仮定するほとんどのUDAメソッドが等しく転送可能であるのとは異なり、協調的教師なしドメイン適応アルゴリズムを革新的に提案する。
提案手法の一般化性能を理論的に解析し,医用画像と一般画像の両方で実験的に評価する。
論文 参考訳（メタデータ） (2020-07-05T11:49:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。