論文の概要: A Self-Supervised Model for Multi-modal Stroke Risk Prediction

• arxiv url: http://arxiv.org/abs/2411.09822v1
• Date: Thu, 14 Nov 2024 22:00:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:39:18.777318
• Title: A Self-Supervised Model for Multi-modal Stroke Risk Prediction
• Title（参考訳）: マルチモーダルストロークリスク予測のための自己監督モデル
• Authors: Camille Delgrange, Olga Demler, Samia Mora, Bjoern Menze, Ezequiel de la Rosa, Neda Davoudi,
• Abstract要約: 脳卒中リスクの予測は、様々な臨床的に利用可能なデータモダリティを統合することで強化される複雑な課題である。 本研究では3次元脳画像、臨床データ、画像から得られる特徴を組み合わせて、発症前の脳卒中リスク予測を改善する自己教師型マルチモーダルフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.1671198589006117
• License:
• Abstract: Predicting stroke risk is a complex challenge that can be enhanced by integrating diverse clinically available data modalities. This study introduces a self-supervised multimodal framework that combines 3D brain imaging, clinical data, and image-derived features to improve stroke risk prediction prior to onset. By leveraging large unannotated clinical datasets, the framework captures complementary and synergistic information across image and tabular data modalities. Our approach is based on a contrastive learning framework that couples contrastive language-image pretraining with an image-tabular matching module, to better align multimodal data representations in a shared latent space. The model is trained on the UK Biobank, which includes structural brain MRI and clinical data. We benchmark its performance against state-of-the-art unimodal and multimodal methods using tabular, image, and image-tabular combinations under diverse frozen and trainable model settings. The proposed model outperformed self-supervised tabular (image) methods by 2.6% (2.6%) in ROC-AUC and by 3.3% (5.6%) in balanced accuracy. Additionally, it showed a 7.6% increase in balanced accuracy compared to the best multimodal supervised model. Through interpretable tools, our approach demonstrated better integration of tabular and image data, providing richer and more aligned embeddings. Gradient-weighted Class Activation Mapping heatmaps further revealed activated brain regions commonly associated in the literature with brain aging, stroke risk, and clinical outcomes. This robust self-supervised multimodal framework surpasses state-of-the-art methods for stroke risk prediction and offers a strong foundation for future studies integrating diverse data modalities to advance clinical predictive modelling.
• Abstract（参考訳）: 脳卒中リスクの予測は、様々な臨床的に利用可能なデータモダリティを統合することで強化される複雑な課題である。 本研究では3次元脳画像、臨床データ、画像から得られる特徴を組み合わせて、発症前の脳卒中リスク予測を改善する自己教師型マルチモーダルフレームワークを提案する。 このフレームワークは、大きな注釈のない臨床データセットを利用することで、画像と表のデータモダリティの相補的および相乗的情報をキャプチャする。 提案手法は,画像タブラルマッチングモジュールとコントラッシブな言語イメージ事前学習を併用し,マルチモーダルデータ表現の協調性を向上する,コントラスト的な学習フレームワークに基づいている。 このモデルは、構造脳MRIと臨床データを含む英国バイオバンクで訓練されている。 各種凍結・トレーニング可能なモデル設定下で, 表, 画像, 画像とタブラルの組み合わせを用いて, 最先端の単一モーダル法とマルチモーダル法を比較した。 提案手法は, ROC-AUCで2.6% (2.6%) , バランスの取れた精度で3.3% (5.6%) 向上した。 さらに、最良のマルチモーダル教師付きモデルと比較して、バランスの取れた精度が7.6%向上した。 解釈可能なツールを通じて、我々のアプローチは、よりリッチで整列した埋め込みを提供するために、表と画像データのより良い統合を実証した。 また,脳の老化,脳卒中リスク,臨床症状などの文献に共通する活性化脳領域も明らかにした。 この頑健な自己監督型マルチモーダルフレームワークは、最先端の脳卒中リスク予測手法を超越し、様々なデータモダリティを統合して臨床予測モデリングを推し進める将来の研究に強力な基盤を提供する。

関連論文リスト

• Enhancing Multimodal Medical Image Classification using Cross-Graph Modal Contrastive Learning [5.660131312162423]
  本稿では,マルチモーダルな医用画像分類のためのクロスグラフ・モーダルコントラスト学習フレームワークを提案する。 提案手法は、パーキンソン病(PD)データセットと公共メラノーマデータセットの2つのデータセットで評価される。 以上の結果から,CGMCLは従来手法よりも精度,解釈可能性,早期疾患予測に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-10-23T01:25:25Z)
• MoRE: Multi-Modal Contrastive Pre-training with Transformers on X-Rays, ECGs, and Diagnostic Report [4.340464264725625]
  我々は,X線,心電図(ECG),放射線学・心臓医学報告を相乗的に組み合わせた,新しいマルチモーダルコントラスト事前学習フレームワークを提案する。 我々はLoRA-Peftを用いて、LLMにおけるトレーニング可能なパラメータを著しく削減し、視覚変換器(ViT)に最近の線形アテンション降下戦略を取り入れ、よりスムーズなアテンションを実現する。 我々の知る限り、我々はX線、心電図、放射線学・医学レポートをこの手法と組み合わせた統合モデルを提案している。
  論文  参考訳（メタデータ） (2024-10-21T17:42:41Z)
• BrainMVP: Multi-modal Vision Pre-training for Brain Image Analysis using Multi-parametric MRI [11.569448567735435]
  BrainMVPは、マルチパラメトリックMRIスキャンを用いた脳画像解析のためのマルチモーダルビジョン事前トレーニングフレームワークである。 クロスモーダル・コンストラクション(英語版)は、特徴ある脳画像の埋め込みと効率的なモーダル融合能力を学習するために研究されている。 ダウンストリームタスクの実験は、医学領域における最先端の事前訓練方法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T15:12:16Z)
• Autoregressive Sequence Modeling for 3D Medical Image Representation [48.706230961589924]
  本稿では, 自己回帰シーケンス事前学習フレームワークを用いて, 3次元医用画像表現を学習するための先駆的手法を提案する。 我々は,空間的,コントラスト的,意味的相関に基づく様々な3次元医用画像にアプローチし,トークンシーケンス内の相互接続された視覚トークンとして扱う。
  論文  参考訳（メタデータ） (2024-09-13T10:19:10Z)
• HyperFusion: A Hypernetwork Approach to Multimodal Integration of Tabular and Medical Imaging Data for Predictive Modeling [4.44283662576491]
  EHRの値と測定値に画像処理を条件付け,臨床画像と表層データを融合させるハイパーネットワークに基づく新しいフレームワークを提案する。 我々は, 単一モダリティモデルと最先端MRI-タブラルデータ融合法の両方に優れることを示す。
  論文  参考訳（メタデータ） (2024-03-20T05:50:04Z)
• HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
  本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。 The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。 HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-15T17:06:26Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Drug Synergistic Combinations Predictions via Large-Scale Pre-Training and Graph Structure Learning [82.93806087715507]
  薬物併用療法は、より有効で安全性の低い疾患治療のための確立された戦略である。 ディープラーニングモデルは、シナジスティックな組み合わせを発見する効率的な方法として登場した。 我々のフレームワークは、他のディープラーニングベースの手法と比較して最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-01-14T15:07:43Z)
• Malignancy Prediction and Lesion Identification from Clinical Dermatological Images [65.1629311281062]
  臨床皮膚画像から機械学習に基づく悪性度予測と病変の同定を検討する。 まず, サブタイプや悪性度に関わらず画像に存在するすべての病変を同定し, その悪性度を推定し, 凝集により, 画像レベルの悪性度も生成する。
  論文  参考訳（メタデータ） (2021-04-02T20:52:05Z)
• Learning Deformable Image Registration from Optimization: Perspective, Modules, Bilevel Training and Beyond [62.730497582218284]
  マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。 我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
  論文  参考訳（メタデータ） (2020-04-30T03:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。