論文の概要: Memory-Augmented Incomplete Multimodal Survival Prediction via Cross-Slide and Gene-Attentive Hypergraph Learning
- arxiv url: http://arxiv.org/abs/2506.19324v1
- Date: Tue, 24 Jun 2025 05:31:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-25 19:48:23.499958
- Title: Memory-Augmented Incomplete Multimodal Survival Prediction via Cross-Slide and Gene-Attentive Hypergraph Learning
- Title(参考訳): クロススライダーおよび遺伝子検出型ハイパーグラフ学習によるメモリ拡張不完全な多重モード生存予測
- Authors: Mingcheng Qu, Guang Yang, Donglin Di, Yue Gao, Tonghua Su, Yang Song, Lei Fan,
- Abstract要約: 癌生存予測にはマルチモーダルな病理・ゲノム解析が重要である。
既存のアプローチは主に、フォーマリン固定パラフィン埋め込み(FFPE)スライドとゲノムデータを統合する。
本稿では,ハイパーグラフ学習を活用して,病理スライドとゲノムデータ間の多WSI情報と相互モダリティの相互作用を統合するフレームワークを提案する。
- 参考スコア(独自算出の注目度): 14.966126636473952
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multimodal pathology-genomic analysis is critical for cancer survival prediction. However, existing approaches predominantly integrate formalin-fixed paraffin-embedded (FFPE) slides with genomic data, while neglecting the availability of other preservation slides, such as Fresh Froze (FF) slides. Moreover, as the high-resolution spatial nature of pathology data tends to dominate the cross-modality fusion process, it hinders effective multimodal fusion and leads to modality imbalance challenges between pathology and genomics. These methods also typically require complete data modalities, limiting their clinical applicability with incomplete modalities, such as missing either pathology or genomic data. In this paper, we propose a multimodal survival prediction framework that leverages hypergraph learning to effectively integrate multi-WSI information and cross-modality interactions between pathology slides and genomics data while addressing modality imbalance. In addition, we introduce a memory mechanism that stores previously learned paired pathology-genomic features and dynamically compensates for incomplete modalities. Experiments on five TCGA datasets demonstrate that our model outperforms advanced methods by over 2.3% in C-Index. Under incomplete modality scenarios, our approach surpasses pathology-only (3.3%) and gene-only models (7.9%). Code: https://github.com/MCPathology/M2Surv
- Abstract(参考訳): 癌生存予測にはマルチモーダルな病理・ゲノム解析が重要である。
しかし、既存のアプローチは主にフォーマリン固定パラフィン埋め込み(FFPE)スライドとゲノムデータを統合するが、フレッシュフロズ(FF)スライドのような他の保存スライドの可用性は無視されている。
さらに、病理データの高分解能な空間的性質が相互モダリティ融合プロセスを支配する傾向にあるため、効果的なマルチモーダル融合を阻害し、病理学とゲノム学のモダリティ不均衡問題を引き起こす。
これらの手法は、典型的には完全なデータモダリティを必要とし、その臨床応用性は、病理学またはゲノムデータの欠如など、不完全なモダリティによって制限される。
本稿では,ハイパーグラフ学習を利用したマルチモーダルサバイバル予測フレームワークを提案する。
さらに,これまでに学習した病理・ゲノム的特徴を記憶し,不完全なモダリティを動的に補償するメモリ機構を導入する。
TCGAデータセット5つの実験により、我々のモデルはC-Indexの2.3%以上の高度な手法より優れていることが示された。
不完全なモダリティのシナリオでは、我々のアプローチは病理のみ(3.3%)と遺伝子のみ(7.9%)を超える。
コード:https://github.com/MCPathology/M2Surv
関連論文リスト
- Any-to-Any Learning in Computational Pathology via Triplet Multimodal Pretraining [7.22968366818898]
ALTERは、WSI、ゲノム学、病理学のレポートを統合した、トリモーダルな事前トレーニングフレームワークである。
WSI中心のアプローチを超えて、堅牢でクロスプラットフォームな表現を学びます。
ALTERは生存予測,癌サブタイプ,遺伝子変異予測,報告生成など,幅広い臨床課題にまたがって評価を行った。
論文 参考訳(メタデータ) (2025-05-19T05:07:34Z) - Multimodal Cancer Survival Analysis via Hypergraph Learning with Cross-Modality Rebalance [14.966126636473952]
本稿では,ハイパーグラフ学習を取り入れた病理画像から文脈的・階層的詳細を抽出するフレームワークを提案する。
C-Indexの性能は3.4%以上向上した。
論文 参考訳(メタデータ) (2025-05-17T13:16:54Z) - Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
がん予後は、患者の予後と生存率を予測する重要なタスクである。
これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。
既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。
第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
論文 参考訳(メタデータ) (2025-01-30T06:49:57Z) - Few-shot learning for COVID-19 Chest X-Ray Classification with
Imbalanced Data: An Inter vs. Intra Domain Study [49.5374512525016]
医療画像データセットは、コンピュータ支援診断、治療計画、医学研究に使用される訓練モデルに不可欠である。
データ分散のばらつき、データの不足、ジェネリックイメージから事前トレーニングされたモデルを使用する場合の転送学習の問題などである。
本稿では,データ不足と分散不均衡の影響を軽減するために,一連の手法を統合したシームズニューラルネットワークに基づく手法を提案する。
論文 参考訳(メタデータ) (2024-01-18T16:59:27Z) - HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。
The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。
HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-11-15T17:06:26Z) - The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease
detection [51.697248252191265]
この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。
我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。
このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
論文 参考訳(メタデータ) (2023-09-13T10:40:41Z) - Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。
アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文 参考訳(メタデータ) (2023-05-25T16:29:16Z) - Brain Image Synthesis with Unsupervised Multivariate Canonical
CSC$\ell_4$Net [122.8907826672382]
我々は,新しいCSC$ell_4$Netを用いて,イントレとイントラモーダルの両方にまたがる専用特徴を学習することを提案する。
論文 参考訳(メタデータ) (2021-03-22T05:19:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。