論文の概要: Multimodal Representation Learning of Cardiovascular Magnetic Resonance
Imaging
- arxiv url: http://arxiv.org/abs/2304.07675v1
- Date: Sun, 16 Apr 2023 02:35:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 17:57:53.031700
- Title: Multimodal Representation Learning of Cardiovascular Magnetic Resonance
Imaging
- Title（参考訳）: 心血管磁気共鳴画像のマルチモーダル表現学習
- Authors: Jielin Qiu, Peide Huang, Makiya Nakashima, Jaehyun Lee, Jiacheng Zhu,
Wilson Tang, Pohao Chen, Christopher Nguyen, Byung-Hak Kim, Debbie Kwon,
Douglas Weber, Ding Zhao, David Chen
- Abstract要約: 我々は、CMR画像と関連する心臓医の報告のシーケンスを共同で学習するマルチモーダル学習フレームワークである textbfCMRformer を提案する。
我々の研究はCMR研究の進歩を早める可能性があり、より正確で効果的な診断と治療につながる可能性がある。
- 参考スコア（独自算出の注目度）: 11.887706872979697
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised learning is crucial for clinical imaging applications, given
the lack of explicit labels in healthcare. However, conventional approaches
that rely on precise vision-language alignment are not always feasible in
complex clinical imaging modalities, such as cardiac magnetic resonance (CMR).
CMR provides a comprehensive visualization of cardiac anatomy, physiology, and
microstructure, making it challenging to interpret. Additionally, CMR reports
require synthesizing information from sequences of images and different views,
resulting in potentially weak alignment between the study and diagnosis report
pair. To overcome these challenges, we propose \textbf{CMRformer}, a multimodal
learning framework to jointly learn sequences of CMR images and associated
cardiologist's reports. Moreover, one of the major obstacles to improving CMR
study is the lack of large, publicly available datasets. To bridge this gap, we
collected a large \textbf{CMR dataset}, which consists of 13,787 studies from
clinical cases. By utilizing our proposed CMRformer and our collected dataset,
we achieved remarkable performance in real-world clinical tasks, such as CMR
image retrieval and diagnosis report retrieval. Furthermore, the learned
representations are evaluated to be practically helpful for downstream
applications, such as disease classification. Our work could potentially
expedite progress in the CMR study and lead to more accurate and effective
diagnosis and treatment.
- Abstract（参考訳）: 医療における明示的なラベルの欠如を考えると、自己教師付き学習は臨床画像応用に不可欠である。
しかし、正確な視覚言語アライメントに依存する従来のアプローチは、心臓磁気共鳴(CMR)のような複雑な臨床画像モダリティでは必ずしも実現できない。
CMRは、心臓解剖、生理学、微細構造を包括的に可視化し、解釈が困難である。
さらに、CMRレポートは画像のシーケンスと異なるビューからの情報を合成する必要があるため、研究と診断レポートのペアの間には潜在的に弱いアライメントが生じる可能性がある。
これらの課題を克服するために,CMR画像と関連する心臓医の報告を共同で学習するマルチモーダル学習フレームワークである「textbf{CMRformer}」を提案する。
さらに、cmr研究を改善するための大きな障害の1つは、大規模な公開データセットの欠如である。
このギャップを埋めるために,臨床症例から13,787の研究から得られた大きな \textbf{cmr dataset} を収集した。
提案するcmrformerと収集したデータセットを用いて,cmr画像検索や診断レポート検索などの実世界の臨床課題において優れた性能を得た。
さらに、学習された表現は、疾患分類などの下流の応用に実用的に有用であると評価した。
我々の研究はcmr研究の進展を早め、より正確で効果的な診断と治療につながる可能性がある。
関連論文リスト
- Towards a vision foundation model for comprehensive assessment of Cardiac MRI [11.838157772803282]
心臓磁気共鳴画像(CMR)評価のための視覚基礎モデルを提案する。
CMRワークフローに典型的な9つの臨床的タスクについて、教師付き方法でモデルを微調整する。
すべてのタスクにおいて、ラベル付きデータセットサイズの範囲で、精度と堅牢性が改善されたことを実証する。
論文 参考訳（メタデータ） (2024-10-02T15:32:01Z) - CMRxRecon2024: A Multi-Modality, Multi-View K-Space Dataset Boosting Universal Machine Learning for Accelerated Cardiac MRI [39.0162369912624]
CMRxRecon2024データセットは、最も大きく、最も多種多様な公開されたk空間データセットである。
健常者330名から取得され、一般的に使用されるモダリティ、解剖学的視点、臨床心臓MRIにおける獲得軌跡をカバーしている。
論文 参考訳（メタデータ） (2024-06-27T09:50:20Z) - Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳（メタデータ） (2023-11-18T14:52:26Z) - CMRxRecon: An open cardiac MRI dataset for the competition of
accelerated image reconstruction [62.61209705638161]
ディープラーニングベースのCMRイメージングアルゴリズムへの関心が高まっている。
ディープラーニング手法は大規模なトレーニングデータセットを必要とする。
このデータセットには300人の被験者のマルチコントラスト、マルチビュー、マルチスライス、マルチコイルCMRイメージングデータが含まれている。
論文 参考訳（メタデータ） (2023-09-19T15:14:42Z) - K-Space-Aware Cross-Modality Score for Synthesized Neuroimage Quality
Assessment [71.27193056354741]
クロスモダリティな医用画像合成をどう評価するかという問題は、ほとんど解明されていない。
本稿では,この課題の進展を促すため,新しい指標K-CROSSを提案する。
K-CROSSは、トレーニング済みのマルチモードセグメンテーションネットワークを使用して、病変の位置を予測する。
論文 参考訳（メタデータ） (2023-07-10T01:26:48Z) - Iterative Data Refinement for Self-Supervised MR Image Reconstruction [18.02961646651716]
自己教師型MR画像再構成のためのデータ改質フレームワークを提案する。
まず,自己教師付き手法と教師付き手法のパフォーマンスギャップの原因を解析する。
そして、このデータバイアスを低減するために、効果的な自己教師付きトレーニングデータ精錬法を設計する。
論文 参考訳（メタデータ） (2022-11-24T06:57:16Z) - AWSnet: An Auto-weighted Supervision Attention Network for Myocardial
Scar and Edema Segmentation in Multi-sequence Cardiac Magnetic Resonance
Images [23.212429566838203]
マルチシーケンスCMRデータから傷痕と浮腫のセグメンテーションに取り組むための,新しい自動重み付け監視フレームワークを開発した。
また, より小さな心筋病変領域の分画を, 形状の事前知識で促進する, 粗大から細大の枠組みを設計した。
マルチシーケンスCMRデータを用いた心筋病理診断の進歩に期待できる。
論文 参考訳（メタデータ） (2022-01-14T08:59:54Z) - MyoPS: A Benchmark of Myocardial Pathology Segmentation Combining
Three-Sequence Cardiac Magnetic Resonance Images [84.02849948202116]
本研究は,MyoPS(MyoPS)の医療画像解析における新たな課題を定義するものである。
myoPSは、MICCAI 2020とともにMyoPSチャレンジで最初に提案された3シーケンスの心臓磁気共鳴(CMR)画像を組み合わせている。
この課題は45対のCMR画像と予め整列されたCMR画像を提供し、アルゴリズムは3つのCMRシーケンスから補完的な情報を結合して病理領域を分割することを可能にする。
論文 参考訳（メタデータ） (2022-01-10T06:37:23Z) - Multi-institutional Collaborations for Improving Deep Learning-based
Magnetic Resonance Image Reconstruction Using Federated Learning [62.17532253489087]
深層学習法はmr画像再構成において優れた性能をもたらすことが示されている。
これらの方法は、高い取得コストと医療データプライバシー規制のために収集および共有が困難である大量のデータを必要とします。
我々は,異なる施設で利用可能なmrデータを活用し,患者のプライバシーを保ちながら,連合学習(fl)ベースのソリューションを提案する。
論文 参考訳（メタデータ） (2021-03-03T03:04:40Z) - Few-shot Medical Image Segmentation using a Global Correlation Network
with Discriminative Embedding [60.89561661441736]
医療画像分割のための新しい手法を提案する。
深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。
深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
論文 参考訳（メタデータ） (2020-12-10T04:01:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。