論文の概要: Scalable and Loosely-Coupled Multimodal Deep Learning for Breast Cancer Subtyping
- arxiv url: http://arxiv.org/abs/2509.03408v1
- Date: Wed, 03 Sep 2025 15:33:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 21:40:46.575504
- Title: Scalable and Loosely-Coupled Multimodal Deep Learning for Breast Cancer Subtyping
- Title(参考訳): 乳がんサブタイプのためのスケーラブルで疎結合なマルチモーダルディープラーニング
- Authors: Mohammed Amer, Mohamed A. Suliman, Tu Bui, Nuria Garcia, Serban Georgescu,
- Abstract要約: マルチモーダル統合から得られる重要な領域は、乳がん分子サブタイプである。
本稿では,コピー数変動 (CNV) や臨床記録,病理組織像など,様々なモダリティのデータをシームレスに統合する疎結合フレームワークを提案する。
以上の結果から,CNVおよび臨床健康記録と二重ベースWSI表現とパイプラインと融合戦略を併用することにより,乳癌の亜型化における最先端の手法よりも優れた結果が得られた。
- 参考スコア(独自算出の注目度): 7.384394472404939
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Healthcare applications are inherently multimodal, benefiting greatly from the integration of diverse data sources. However, the modalities available in clinical settings can vary across different locations and patients. A key area that stands to gain from multimodal integration is breast cancer molecular subtyping, an important clinical task that can facilitate personalized treatment and improve patient prognosis. In this work, we propose a scalable and loosely-coupled multimodal framework that seamlessly integrates data from various modalities, including copy number variation (CNV), clinical records, and histopathology images, to enhance breast cancer subtyping. While our primary focus is on breast cancer, our framework is designed to easily accommodate additional modalities, offering the flexibility to scale up or down with minimal overhead without requiring re-training of existing modalities, making it applicable to other types of cancers as well. We introduce a dual-based representation for whole slide images (WSIs), combining traditional image-based and graph-based WSI representations. This novel dual approach results in significant performance improvements. Moreover, we present a new multimodal fusion strategy, demonstrating its ability to enhance performance across a range of multimodal conditions. Our comprehensive results show that integrating our dual-based WSI representation with CNV and clinical health records, along with our pipeline and fusion strategy, outperforms state-of-the-art methods in breast cancer subtyping.
- Abstract(参考訳): 医療アプリケーションは本質的にマルチモーダルであり、多様なデータソースの統合から大きな恩恵を受けている。
しかし、臨床で利用可能なモダリティは、場所や患者によって異なる可能性がある。
マルチモーダル統合から得られる重要な領域は乳がん分子サブタイプであり、パーソナライズされた治療を容易にし、患者の予後を改善する重要な臨床課題である。
本研究では,コピー数変動 (CNV) や臨床記録, 病理像など, 様々なモダリティからのデータをシームレスに統合し, 乳がんの亜型化を促進する, スケーラブルで疎結合なマルチモーダルフレームワークを提案する。
私たちのフレームワークは乳がんに重点を置いていますが、既存のモダリティの再トレーニングを必要とせずに、最小限のオーバーヘッドでスケールアップまたは縮小できる柔軟性を提供し、他の種類のがんにも適用できるようにしています。
本稿では、従来の画像ベースとグラフベースのWSI表現を組み合わせた、スライド画像全体(WSI)のデュアルベース表現を提案する。
この新しいデュアルアプローチは、大幅なパフォーマンス改善をもたらす。
さらに,マルチモーダル・フュージョン・ストラテジーを新たに提案し,多モーダル・コンディションにおける性能向上能力を示す。
以上の結果から,CNVおよび臨床健康記録と二重ベースWSI表現とパイプラインと融合戦略を併用することにより,乳癌の亜型化における最先端の手法よりも優れた結果が得られた。
関連論文リスト
- Multimodal Medical Endoscopic Image Analysis via Progressive Disentangle-aware Contrastive Learning [11.158864816564538]
本稿では,Align-Disentangle-Fusion'機構に基づく,革新的な多モード表現学習フレームワークを提案する。
本手法は最先端のアプローチを一貫して上回り,様々な臨床シナリオにおいて高い精度を達成している。
論文 参考訳(メタデータ) (2025-08-23T03:02:51Z) - Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
がん予後は、患者の予後と生存率を予測する重要なタスクである。
これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。
既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。
第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
論文 参考訳(メタデータ) (2025-01-30T06:49:57Z) - Enhanced MRI Representation via Cross-series Masking [48.09478307927716]
自己教師型でMRI表現を効果的に学習するためのクロスシリーズ・マスキング(CSM)戦略
メソッドは、パブリックデータセットと社内データセットの両方で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-12-10T10:32:09Z) - MoRE: Multi-Modal Contrastive Pre-training with Transformers on X-Rays, ECGs, and Diagnostic Report [4.340464264725625]
我々は,X線,心電図(ECG),放射線学・心臓医学報告を相乗的に組み合わせた,新しいマルチモーダルコントラスト事前学習フレームワークを提案する。
我々はLoRA-Peftを用いて、LLMにおけるトレーニング可能なパラメータを著しく削減し、視覚変換器(ViT)に最近の線形アテンション降下戦略を取り入れ、よりスムーズなアテンションを実現する。
我々の知る限り、我々はX線、心電図、放射線学・医学レポートをこの手法と組み合わせた統合モデルを提案している。
論文 参考訳(メタデータ) (2024-10-21T17:42:41Z) - Single-Shared Network with Prior-Inspired Loss for Parameter-Efficient Multi-Modal Imaging Skin Lesion Classification [6.195015783344803]
マルチモーダルアプローチを導入し,マルチスケールな臨床・皮膚内視鏡的特徴を1つのネットワークに効率的に統合する。
提案手法は,現在進行している手法と比較して,精度とモデルパラメータの両面で優位性を示す。
論文 参考訳(メタデータ) (2024-03-28T08:00:14Z) - MedSegDiff-V2: Diffusion based Medical Image Segmentation with
Transformer [53.575573940055335]
我々は、MedSegDiff-V2と呼ばれるトランスフォーマーベースの拡散フレームワークを提案する。
画像の異なる20種類の画像分割作業において,その有効性を検証する。
論文 参考訳(メタデータ) (2023-01-19T03:42:36Z) - Modality-aware Mutual Learning for Multi-modal Medical Image
Segmentation [12.308579499188921]
肝臓がんは世界中で最も多いがんの1つである。
本稿では,マルチモーダルCT画像の統合による肝腫瘍切除の自動化に焦点をあてる。
そこで本研究では,肝腫瘍セグメント化を効果的かつ堅牢にするための新たな相互学習(ML)戦略を提案する。
論文 参考訳(メタデータ) (2021-07-21T02:24:31Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳(メタデータ) (2021-07-07T19:06:34Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳(メタデータ) (2020-02-22T14:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。